Radar ·
Projeções QKV compartilhadas em Transformers
Publicado em 2 de julho de 2026, o registro descreve um estudo de variantes que compartilham projeções de atenção e relata que definir K igual a V foi excessivo para os LLMs ternários pequenos do autor.
Publicado em 2 de julho de 2026, o registro apresenta um artigo que avalia sistematicamente variantes de Transformers com compartilhamento de projeções: key e value, query e key, ou as três projeções. A proposta é reduzir o número de projeções distintas na attention e ajudar a orientar escolhas de arquitetura.
O post relata um resultado específico: definir K igual a V foi excessivo para os LLMs ternários pequenos do autor. O registro não fornece métricas nem mais detalhes experimentais. Para avaliar o alcance da conclusão, consulte o artigo e o post originais e confira no texto integral os métodos, os modelos e os resultados; não generalize o achado além do que eles apresentam.
Fonte original: Estudo de Projeções QKV Compartilhadas em Transformers