Engenharia ·
TinyLoRA testa ajuste com RL usando 13 parâmetros
Publicação datada de 17 de setembro de 2026 descreve o TinyLoRA e relata ganhos em três benchmarks com treinamento por RL e 13 parâmetros.
Radar
Bookmarks atualizados diariamente: notícias, fatos e descobertas relevantes.
Publicações 1216
Engenharia ·
Transformers em loop como computadores programáveis
Publicado em 17 de setembro de 2026, o artigo descreve uma estrutura que usa pesos específicos e camadas Transformer recorrentes para emular operações computacionais, incluindo desvios condicionais e contadores de programa.
Engenharia ·
Transformers recorrentes em blocos processam sequências com complexidade linear
Uma arquitetura aplica uma camada Transformer recorrentemente a blocos de tokens, combinando self-attention e cross-attention para processar sequências com complexidade linear em relação ao comprimento.
Engenharia ·
Universal Transformers reutilizam uma camada recorrentemente
Publicação de 17 de setembro de 2026 descreve uma arquitetura que aplica repetidamente a mesma camada Transformer, em vez de empilhar camadas distintas, e destaca questões de computação sequencial e paralela.
Engenharia ·
CocktailASR-1 transcreve um falante em áudio misto
Modelo da Xiaomi usa uma voz de referência para transcrever o falante selecionado em áudio sobreposto; a publicação informa suporte a inglês e chinês.
Engenharia ·
Crusoe relata desempenho de inferência em MI355X
Em resultados do MLPerf Inference v6.1, a Crusoe reportou 5,75 milhões de tokens por segundo em gpt-oss-120b usando 512 GPUs AMD Instinct MI355X.
Engenharia ·
GOAT propõe priors treináveis para attention
Publicado em 16 de setembro de 2026, o artigo apresenta attention como Entropic Optimal Transport e propõe substituir o prior uniforme implícito por um prior contínuo e treinável.
Engenharia ·
KATA explora recall em linear attention
Artigo de 16 de setembro de 2026 formula o associative recall em linear attention como um problema de spherical packing e apresenta as ativações KATA, derivadas de um cone homogêneo autodual.
Engenharia ·
SAS propõe seletor de contexto dentro do Softmax
Em publicação de 16 de setembro de 2026, SAS descreve um seletor treinado dentro do Softmax para filtrar contexto na atenção voltada a hardware com recursos limitados.
Engenharia ·
Softmax Linear Attention busca eficiência sem perder competição
A Softmax Linear Attention propõe aplicar softmax no nível das heads para recuperar competição global na atenção linear, mantendo como objetivo a complexidade linear. A abordagem pode ser comparada à normalização softmax padrão.
Engenharia ·
Switch Attention alterna padrões de atenção
Paper apresenta uma abordagem dinâmica e granular para combinar atenção full e sliding window em transformers híbridos, mirando o custo da primeira e o campo receptivo mais estreito da segunda.
Engenharia ·
Thinking with Looped Flows aposta em denoising local
Post publicado em 16 de setembro de 2026 relata que objetivos locais de denoising ajudaram modelos recorrentes Looped Flows em computação de várias etapas. O texto informa resultados superiores aos de modelos looped anteriores em seis benchmarks de raciocínio, incluindo 58,8% no ARC-AGI-1.
Engenharia ·
Tucker Attention unifica variantes de atenção
Artigo apresenta Tucker Attention como uma abordagem de fatoração tensorial que enquadra MHA, GQA e MLA em uma perspectiva comum de atenção aproximada de baixo posto.
Engenharia ·
Atenção em Transformers de Contexto Longo
Publicado em 15 de setembro de 2026, o artigo examina o rank collapse à medida que o contexto cresce e analisa o reescalonamento dos scores de atenção.
Engenharia ·
auto-gpu-kernel 1.0 gera kernels e harnesses para GPU
A versão 1.0 apresenta um meta-harness autônomo que evolui tanto kernels de GPU quanto a camada de harness; o projeto venceu a categoria DSA de um concurso do MLSys 2026 FlashInfer.
Engenharia ·
Harness amplia opções de browser e computador
A versão v0.1.6-alpha.1 adiciona uma sidebar Web com terminais persistentes, múltiplas abas e suporte a recursos MCP. As opções experimentais incluem ferramentas para browser e drivers para computador.
Engenharia ·
Octop propõe agentes de IA multiusuário self-hosted
Publicado em 15 de setembro de 2026, o post descreve Octop como uma plataforma open source e self-hosted de assistentes de IA, com suporte a múltiplos usuários e agentes.
Engenharia ·
RoLA propõe atenção linear de baixo rank para Diffusion Transformers
Publicado em 15 de setembro de 2026, o paper apresenta RoLA, um método de atenção linear de baixo rank com posição rotativa para Diffusion Transformers. A proposta trata do escalonamento quadrático da self-attention espaço-temporal densa e de um problema de compatibilidade entre RoPE e o ramo global
Engenharia ·
RVC WebUI para treinamento de conversão de voz
Publicado em 15 de setembro de 2026, o registro descreve um projeto open source com interface Web para treinar modelos de conversão de voz usando até 10 minutos de dados de voz.
Engenharia ·
ASR tenta separar um locutor em fala sobreposta
Publicado em 15 de setembro de 2026, o Xiaomi-CocktailASR-1 demonstra um fluxo de reconhecimento de fala condicionado por um locutor em áudio sobreposto.