Radar ·
Método treina seleção esparsa de blocos KV
Publicado em 14 de setembro de 2026, o Simple Attention Sparsification descreve como a loss de modelagem de linguagem pode otimizar quais blocos KV cada query atende.
O Simple Attention Sparsification, da Tencent, apresenta um método para treinar atenção esparsa. A loss de modelagem de linguagem otimiza diretamente a seleção dos blocos KV atendidos por cada query. O registro não informa métricas de desempenho nem outros resultados quantitativos.
A proposta interessa a quem acompanha métodos de atenção em modelos de linguagem, mas o resumo não permite concluir ganhos práticos. Consulte o registro original para verificar o método e seu escopo; se usar IA para estudar ou aplicar o material, não envie dados pessoais ou documentos confidenciais sem antes aplicar a política de proteção da organização.
Fonte original: Simple Attention Sparsification otimiza a seleção de blocos KV