Radar ·
HiLS aprende a selecionar chunks em sparse attention
Publicado em 7 de julho de 2026, o material apresenta a Hierarchical Landmark Sparse (HiLS) Attention, método que aprende a selecionar chunks de ponta a ponta usando a loss de modelagem de linguagem.
O artigo propõe a Hierarchical Landmark Sparse (HiLS) Attention, um método de sparse attention organizado por chunks. Segundo o post, os chunks recebem pontuações a partir de scores agregados de landmark tokens, e a seleção é aprendida de ponta a ponta com a loss de modelagem de linguagem. O material é datado de 7 de julho de 2026.
A proposta interessa a engenheiros que exploram modelos de contexto longo, mas o resumo disponível não informa resultados quantitativos. Para verificar o método e eventuais evidências, consulte o artigo original e compare sua descrição de pontuação e treinamento com os experimentos reportados. Se usar IA para estudar ou aplicar a ideia, não envie dados internos ou pessoais sem autorização e aplique a política de privacidade da organização.
Fonte original: HiLS aprende a seleção de chunks para sparse attention