Engenharia ·
Radar: escala de modelos byte e token
Paper compara modelos byte e token destilados em escalas de até 1 trilhão de bytes de treinamento e relata um teto de desempenho maior para modelos byte conforme cresce o compute.
Radar
Bookmarks atualizados diariamente: notícias, fatos e descobertas relevantes.
Publicações 1216
Engenharia ·
PC-ALM treina MLPs residuais profundas com dinâmicas locais
Publicado em 14 de setembro de 2026, o resumo apresenta o PC-ALM como alternativa local à backpropagation para treinar MLPs residuais de até 1.000 camadas, com desempenho descrito como quase equivalente.
Engenharia ·
Método treina seleção esparsa de blocos KV
Publicado em 14 de setembro de 2026, o Simple Attention Sparsification descreve como a loss de modelagem de linguagem pode otimizar quais blocos KV cada query atende.
Engenharia ·
Tencent apresenta o framework WeKnora para conhecimento com LLM
Publicado em 14 de setembro de 2026, o post apresenta o WeKnora, framework open source para compreensão de documentos, busca semântica e raciocínio autônomo.
Engenharia ·
GAD propõe destilação on-policy de LLMs black-box
Artigo de 13 de setembro de 2026 apresenta um método que aprende com saídas textuais de um modelo teacher proprietário, sem acesso a logits ou parâmetros.
Engenharia ·
Livro aberto reúne 12 capítulos sobre infraestrutura de IA
Publicado em 13 de setembro de 2026, o livro cobre arquiteturas de modelos, aceleradores, otimização e inferência distribuída, treinamento e escalonamento de recursos.
Engenharia ·
Post relata queda alegada no KV cache
Um post afirma que o uso de KV cache caiu de 389.000 bytes para 890 bytes por token em três anos. Alega que um artigo linkado explica a abordagem com diagramas.
Engenharia ·
Retenção de tokens pode reduzir uso do KV cache
Uma publicação relata que preservar quatro tokens iniciais e uma janela de 64 tokens, sem treinamento, igualou ou superou modelos de atenção linear destilados em quase todos os benchmarks.
Engenharia ·
RLT mantém estado recorrente entre tokens
Publicado em 13 de setembro de 2026, o resumo descreve um Transformer com decoder recorrente que carrega estado entre tokens durante o prompt e a geração.
Engenharia ·
Estrutura para o autoaperfeiçoamento recursivo em IA
Artigo publicado em 13 de setembro de 2026 apresenta uma revisão e uma estrutura conceitual para ciclos em que sistemas de IA identificam limitações, validam mudanças e preservam melhorias.
Engenharia ·
The Deadlock Empire ensina concorrência por meio de um jogo
Publicado em 12 de setembro de 2026, o registro apresenta The Deadlock Empire, um jogo em que participantes atuam como escalonadores para explorar programas com falhas e aprender sobre concorrência.
Engenharia ·
Looped flows treinam atualizações recorrentes com denoising local
Publicado em 12 de setembro de 2026, o artigo propõe treinar atualizações recorrentes do estado oculto com objetivos de denoising local, buscando superar uma dificuldade associada ao backpropagation sobre poucas atualizações.
Engenharia ·
Modelo grande alterna entre GPU, RAM e NVMe
Relato publicado em 12 de setembro de 2026 descreve a execução de um modelo em uma RTX 5090, com 125,7 GiB de RAM e parte de um arquivo GGUF de 502 GB no NVMe.
Engenharia ·
Introdução visual a operadores de contração em RL
Artigo de uma série intuitiva sobre aprendizado por reforço apresenta, com uma abordagem visual e concisa, operadores de contração — um conceito fundamental da área.
Engenharia ·
Otimização de spinlocks e seus trade-offs
O artigo aborda spinlocks, que mantêm threads ocupadas na CPU em vez de ceder ao scheduler, e observa que isso pode evitar chamadas de sistema e trocas de contexto.
Engenharia ·
Classificador de documentos com agents e SetFit
Publicado em 10 de setembro de 2026, o relato descreve um classificador de finalidade de documentos treinado com 200 exemplos rotulados por um agent. O modelo classificou 191.724 documentos por cerca de US$ 0,70 em computação de inferência.
Engenharia ·
Colibri transmite experts de MoE do disco em C
Publicado em 10 de setembro de 2026, o Colibri é descrito como um engine de inferência em C puro e sem dependências, que transmite experts de MoE do disco para executar modelos em hardware local.
Engenharia ·
PRISM e a tradução binária no Windows on Arm
Publicado em 10 de setembro de 2026, o registro apresenta um artigo que examina o PRISM, sistema de tradução binária usado pelo Windows on Arm, e seus efeitos no código.
Engenharia ·
Repositórios para deploy do V4.1 Flash são abertos
Em 10 de setembro de 2026, a empresa anunciou a abertura de três repositórios para facilitar o deploy do V4.1 Flash e de modelos abertos posteriores.
Engenharia ·
C*: programação e verificação em C
Artigo publicado em 8 de setembro de 2026 apresenta C*, uma abordagem para aproximar a programação em C da verificação formal.