Radar ·
Seleção log-linear de blocos em atenção esparsa
Publicado em 28 de setembro de 2026, o artigo descreve um método hierárquico de seleção de blocos para atenção esparsa em contextos longos, reduzindo o custo de O(N²) para O(N log N).
Publicado em 28 de setembro de 2026, o artigo apresenta um método hierárquico para selecionar blocos em atenção esparsa. Ele pontua grandes regiões do contexto com LogSumExp e restringe recursivamente a seleção às regiões consideradas promissoras. Segundo o resumo, isso reduz o custo da seleção de blocos de O(N²) para O(N log N) em modelos com contexto longo.
O resultado diz respeito ao custo de seleção, não necessariamente ao custo total de execução do modelo. Para conferir o alcance da afirmação, consulte o artigo original e verifique a definição de N, as condições de avaliação e os resultados experimentais. Se usar IA para estudar ou aplicar o método, evite enviar dados internos ou identificáveis sem autorização e confira as conclusões no texto original.
Fonte original: Block-Sparse Attention com Seleção de Blocos Log-Linear