Bookmarks atualizados diariamente: notícias, fatos e descobertas relevantes.
Publicações 1216
Engenharia ·
Artigo no arXiv, datado de 7 de outubro de 2026, que propõe métodos para reduzir o pico de memória no treinamento distribuído de Mixture-of-Experts, com foco no dispatcher all-to-all.
Engenharia ·
Radar: o post descreve o MOPD, método em que um modelo aluno aprende com rollouts gerados por ele próprio e recebe supervisão de professores especializados por domínio, para reunir capacidades de especialistas treinados separadamente.
Engenharia ·
Radar: post afirma que o EmbeddingGemma 2, do Google, mapeia texto, código, imagens, vídeo e áudio em um único espaço vetorial e usa licença Apache 2.0. A fonte não traz métricas nem documentação técnica.
Engenharia ·
Radar: o post apresenta o JEPA-Anything, um framework agnóstico a domínio para world modeling baseado em fatoração preditiva ortogonal, que explora aprendizado de representações preditivas em sete domínios, da biologia ao clima.
Engenharia ·
Item do Radar: o LiFT reaplica um núcleo Diffusion Transformer compartilhado e, segundo a publicação, supera um DiT denso no ImageNet 256×256 com cerca de 60% menos parâmetros.
Engenharia ·
Radar: relato de que 10 milhões de vetores EmbeddingGemma 2, quantizados para 1 bit e reduzidos a 256 dimensões com MRL, caíram de cerca de 30 GB para 0,4 GB de RAM, com perda de qualidade declarada de cerca de 5%.
Engenharia ·
Briefing sobre um artigo que apresenta Native Hybrid Attention, abordagem que busca equilibrar a velocidade dos Transformers em contextos longos com a retenção de detalhes precisos da linear attention.
Engenharia ·
Radar registra que o Astral GPU Indexes passou a oferecer suporte ao PyTorch 2.13 e 2.14 e ao Python 3.15, com wheels pré-compilados com suporte a GPU para FlashAttention, FlashAttention 3, causal-conv1d e DeepSpeed.
Engenharia ·
Resumo de artigo que investiga attention sinks e residual sinks em grandes modelos de linguagem e propõe que esses outliers, com softmax attention e RMSNorm, reescalam outros componentes da arquitetura.
Engenharia ·
Radar: a publicação descreve Dust, um método de otimização zeroth-order que usa perturbações paralelas de ativações como população virtual para pré-treinar transformers, com experimentos de escala e comparações com backpropagation e estratégias evolutivas.
Engenharia ·
Radar: artigo sobre compartilhamento de memória entre recursões em Transformers recorrentes, com relato de redução de 76–79% na memória de contexto em modelos de 150M a 1B de parâmetros, em comparação com Transformers padrão.
Engenharia ·
Relato de escalonamento com escalabilidade quase linear e MFU de 35,3%, usando testes em pequena escala para reduzir o espaço de busca antes de alocar mais GPUs.
Engenharia ·
Radar: o paper SwiLA, da COLM 2026, propõe alternar entre múltiplos mapas lineares e discute o trade-off entre expressividade da atenção e custo de memória do KV cache.
Engenharia ·
Briefing sobre a seção do Machine Learning Engineering Open Book que descreve symmetric memory no NCCL e no PyTorch para payloads pequenos e médios e para a sobreposição entre comunicação e computação.
Engenharia ·
Radar: segundo nota de 4 de outubro de 2026, o Google lançou um modelo Gemma de 4B, ajustado para corrigir rótulos de falantes e reduzir erros de diarização por palavra em quatro benchmarks.
Engenharia ·
Relato sobre um transformer de 450 milhões de parâmetros treinado com FlashAttention-3 em BF16: a norma do gradiente subiu 1.000× após 25 bilhões de tokens, com loss maior que na atenção em FP32 e sem NaNs.
Engenharia ·
Paper propõe reescrever demonstrações de especialistas como trajetórias corretas e prováveis sob o modelo-alvo, antes de usá-las em supervised fine-tuning padrão.
Engenharia ·
Briefing do Radar sobre um setup de aprendizado por reforço para modelos de decisão que retornam probabilidades calibradas, em vez de texto gerado. Data da publicação: 4 de outubro de 2026.
Engenharia ·
O paper apresenta o VeriHarness, que verifica afirmações de agentes em tarefas longas usando um modelo-base fixo, sem respostas de referência ou rubricas durante o teste.
Engenharia ·
Estudo sistemático relata que a direção do KL por token pesa mais que a política de rollout na distilação on-policy versus off-policy, questionando a ideia de que rollouts on-policy são inerentemente melhores.
