Radar ·
Memory Attention reutiliza keys em V=K+M
Publicação de 27 de setembro de 2026 relata ablações preliminares que apontam V=K+M como escolha arquitetural eficaz; o resultado ainda precisa de validação em escalas maiores.
Em 27 de setembro de 2026, uma publicação apresentou resultados preliminares de ablação sobre Memory Attention. Segundo o relato, reutilizar keys na expressão V=K+M parece ser uma escolha arquitetural eficaz.
O autor ressalta que o resultado ainda precisa ser validado em escalas maiores. Ele pode orientar experimentos com arquiteturas de attention, mas não demonstra que a escolha se mantém eficaz nessas escalas. Consulte a publicação original para conferir método, resultados e limites antes de tirar conclusões.
Fonte original: Memory Attention reutiliza keys na expressão de values