Radar ·
KITE amplia Transformers com cálculo de KV invariável
Publicado em 29 de setembro de 2026, o registro descreve KITE, um paradigma de scaling que combina scaling com upcycling e expande componentes do decoder que reutilizam um KV cache gerado por um prefiller menor.
Em 29 de setembro de 2026, o Radar registrou KITE como um paradigma de scaling que combina scaling com upcycling, mantendo invariável o cálculo de KV. A abordagem expande componentes do decoder que reutilizam um KV cache gerado por um prefiller menor.
O objetivo declarado é permitir avaliar o aumento da qualidade do modelo sem elevar proporcionalmente o custo de prefill. O registro não apresenta medições, condições experimentais ou resultados quantitativos. Para verificar o alcance da afirmação, consulte a publicação original e confira se materiais adicionais especificam métodos e evidências. Se usar IA para estudá-la, aplique a política da organização a dados pessoais antes do processamento.
Fonte original: KITE expande Transformers mantendo o cálculo de KV invariável