Radar ·
Programas sintetizados aproximam attention heads
Post relata programas Python sintetizados a partir de mapas de atenção, com 69–79% de mean IoU em três modelos e pouca queda em QA ao substituir até 30–40% dos heads.
Publicado em 1º de julho de 2026, o post descreve a síntese de programas Python a partir de mapas de atenção para reproduzir padrões de atenção entre tokens. Em GPT-2, TinyLlama e Llama-3B, os melhores programas atingiram 69–79% de mean IoU. Segundo o post, substituir até 30–40% dos heads causou pouca queda em QA.
O resultado explora se alguns attention heads podem ser aproximados por programas explícitos e intercambiáveis, em vez de computações neurais. Para conferir o método, as condições de avaliação e o contexto desses números, consulte o post original e verifique seus resultados e definições; o resumo disponível não detalha esses elementos. Se usar IA para estudar ou aplicar o material, evite enviar dados organizacionais sensíveis sem autorização.
Fonte original: Substituição de attention heads por programas sintetizados