Ir para o conteúdo

Radar

Bookmarks atualizados diariamente: notícias, fatos e descobertas relevantes.

Publicações 1219

Engenharia ·

HOLA propõe cache KV exato para atenção linear

Publicado em 3 de julho de 2026, o resumo do artigo diz que HOLA combina um estado recorrente baseado na delta rule com um cache limitado e exato de key-values. Relata melhora na perplexidade do Wikitext e recall robusto de needles no RULER até 32k tokens.

Engenharia ·

Demo open source de voz em tempo real

Publicado em 2 de julho de 2026, o briefing descreve uma demonstração de voz em tempo real com modelos e código open source, compatível com WebSocket ou WebRTC.

Engenharia ·

Diffusion-GR2 busca acelerar reranking

Publicado em 2 de julho de 2026, o relato apresenta Diffusion-GR2, um modelo de block diffusion para reranking com raciocínio generativo. Segundo o post, sua acurácia de ranking fica próxima à do modelo autoregressivo, com decoding de 2,4 a 3,5 vezes mais rápido.

Engenharia ·

Vídeo apresenta etapas de attention em Transformers

Publicado em 2 de julho de 2026, o vídeo aborda Q/K/V, attention scores e blocos encoder. A descrição explica como queries são comparadas com keys para ponderar vetores value.

Engenharia ·

Entendendo o ocultamento de latência em GPUs

Material de Vasily Volkov, da UC Berkeley, explora conceitos de desempenho e arquitetura de GPUs pouco aprofundados em um conhecido livro sobre programação paralela.

Engenharia ·

Hard negatives com LLM em retrieval two-tower

Um paper propõe amostragem self-supervised de negativos difíceis para recomendação two-tower, usando clusters de itens derivados de LLM para gerar exemplos em tempo real.

Engenharia ·

Projeções QKV compartilhadas em Transformers

Publicado em 2 de julho de 2026, o registro descreve um estudo de variantes que compartilham projeções de atenção e relata que definir K igual a V foi excessivo para os LLMs ternários pequenos do autor.

Engenharia ·

Lista de leitura sobre Transformers e treinamento

Publicada em 2 de julho de 2026, a lista reúne dez trabalhos em uma ordem sugerida sobre Transformers, scaling, few-shot learning, RLHF, LoRA, FlashAttention, chain-of-thought e DPO.

Engenharia ·

Trie acelera experimentos de pipelines de IR

Artigo sobre um plano de execução com radix trie para PyTerrier, que reutiliza prefixos compartilhados de pipelines e relata reduções de até 26% no tempo dos experimentos.

Engenharia ·

Radar: catálogo de otimizações de compiladores

Um registro sobre o artigo de Frances Allen, publicado em 1971, que cataloga transformações de otimização de compiladores e lista passes atribuídos a Graydon Hoare.

Engenharia ·

Vocabulary Transfer e busca esparsa

Nota de 2 de julho de 2026 sobre uma proposta para tratar lacunas de vocabulário em learned sparse retrieval com encoders avançados.

Engenharia ·

EMP usa tamanho efetivo da amostra para podar modelos

Pesquisadores da University of Florida e da Ohio University apresentam o Effective Model Pruning, método que usa o tamanho efetivo da amostra para calcular quantos componentes manter em redes neurais e modelos de linguagem.

Engenharia ·

The Art of Debugging: livro aberto

Publicado em 1º de julho de 2026, o livro aberto tem cinco capítulos e está disponível em PDF e EPUB. O autor destaca a aplicação geral da metodologia de depuração, apesar do foco em Unix, Python e PyTorch.

Engenharia ·

Programas sintetizados aproximam attention heads

Post relata programas Python sintetizados a partir de mapas de atenção, com 69–79% de mean IoU em três modelos e pouca queda em QA ao substituir até 30–40% dos heads.

Engenharia ·

STEB avalia embeddings de estilo em 96 conjuntos

Benchmark open source compara embeddings de estilo em 96 conjuntos de dados e sete idiomas. O post relata desempenho inferior dos embeddings semânticos em tarefas estilísticas e nenhum modelo dominante.

Receba o essencial

Privacidade, engenharia de IA e segurança no seu e-mail.

No máximo um resumo por dia, quando houver novidades. Cancele quando quiser. Usamos o e-mail verificado da sua conta.

Privacidade

Procurando outra coisa?AjudaContato