Bookmarks atualizados diariamente: notícias, fatos e descobertas relevantes.
Publicações 1216
Engenharia ·
Radar: artigo que interpreta a attention padrão como Entropic Optimal Transport com prior uniforme implícito e propõe o GOAT, com prior contínuo e treinável compatível com kernels otimizados como FlashAttention.
Engenharia ·
Publicação afirma que cuDNN, FA4 e FlexAttention têm problemas de precisão nos backward passes e apresenta o KohakuFA como kernel alternativo, com repositório público no GitHub para inspeção.
Engenharia ·
Radar de 3 de outubro de 2026 sobre um modelo de geração de imagens a partir de texto que reutiliza blocos do Transformer em cada etapa de denoising, com a afirmação de desempenho do post original.
Engenharia ·
Radar: o artigo apresenta o LoopCD, um método de contrastive decoding sem treinamento adicional para Transformers recorrentes, que usa representações de loops anteriores como previsões mais fracas para selecionar tokens.
Engenharia ·
Radar: o LoopCD refina a decodificação de Transformers com loops usando a diferença entre previsões de estados recorrentes iniciais e finais, sem treinamento adicional, e reporta ganhos de acurácia no AIME 2024 com o modelo Ouro-2.6B-Thinking.
Engenharia ·
Post apresenta um método que adiciona sampling ao stack de post-training e afirma que o SFT pode competir com métodos atuais, com melhor generalização e menos esquecimento em alguns casos.
Engenharia ·
Um guia descreve um proxy que registra token IDs e logprobs para treinar modelos com RL em quatro agent harnesses, com melhorias relatadas e comparação com imitation learning.
Engenharia ·
Artigo investiga se a cadeia de pensamento faz trabalho computacional em tarefas seriais; segundo o post, removê-la reduz a precisão ao limite de circuitos rasos.
Engenharia ·
Publicado em 1º de outubro de 2026, o texto apresenta a destilação on-policy multi-teacher (MOPD): um método que treina um modelo student com suas próprias completions, usando log probabilities por token de modelos teacher e um objetivo de reverse KL.
Engenharia ·
Rodar um modelo perto dos dados pode mudar a arquitetura. Não dispensa tratamento de entradas, controle de acesso ou avaliação real.
Engenharia ·
Um blog do PyTorch descreve o Jagged Flash Attention, kernel de attention por trás do Generative Ads Model da Meta, desenvolvido com TLX para NVIDIA Blackwell. O post relata desempenho superior ao FlashAttention-4 nas formas jagged do GEM.
Engenharia ·
Publicado em 1º de outubro de 2026, o post relata que o Looped-DiT reutiliza blocos Transformer nas etapas de denoising e que um modelo de 260 milhões de parâmetros superou outro 6,5 vezes maior em benchmarks de texto para imagem, com 4,9 vezes menos computação na inferência.
Engenharia ·
Publicação datada de 1º de outubro de 2026 relata 890 bytes de KV cache global por token e um cache persistente oito vezes menor em um modelo de linguagem.
Engenharia ·
Publicação de 30 de setembro de 2026 argumenta que fatorar S = WWᵀ muda o fluxo de gradientes em attention e remove um gargalo de expoente de informação que pode travar modelos não fatorados.
Engenharia ·
Publicado em 30 de setembro de 2026, o material apresenta DeepEP-Ascend como uma biblioteca de comunicação de alto desempenho para treinamento e inferência de machine learning em NPUs Huawei Ascend.
Engenharia ·
Um artigo de Reiner Pope e coautores aborda como escalar a inferência de Transformers com eficiência, tema relevante para engenheiros que avaliam formas de servir esses modelos.
Engenharia ·
Publicado em 30 de setembro de 2026, o ProRL Agent é uma infraestrutura open source para rollouts de agentes multi-turn. Seu modelo rollout-as-a-service separa geração de trajetórias, orquestração de ambientes e avaliação da otimização de políticas.
Engenharia ·
Relato de 29 de setembro de 2026 aponta que o arredondamento BF16 no FlashAttention pode quebrar uma simetria do gradiente do softmax e levar a gradientes explosivos no fim do treinamento. Os autores propõem o GProj como correção.
Engenharia ·
Artigo examina positional encodings para Transformers, aponta o viés do RoPE em favor de tokens próximos e organiza avaliações de alternativas feitas em configurações distintas.
Engenharia ·
Prévia de 29 de setembro de 2026 apresenta um benchmark para comparar métodos de fluxo de informação e avaliar se camadas de Transformers mais profundos são usadas de forma eficaz.
