Radar ·
Softmax Linear Attention busca eficiência sem perder competição
A Softmax Linear Attention propõe aplicar softmax no nível das heads para recuperar competição global na atenção linear, mantendo como objetivo a complexidade linear. A abordagem pode ser comparada à normalização softmax padrão.
O artigo apresenta a Softmax Linear Attention (SLA), que aplica softmax no nível das heads para restaurar a competição global na atenção linear. A proposta busca manter a complexidade linear e, ao mesmo tempo, melhorar a seleção de informações relevantes.
Para engenheiros que avaliam variantes de attention, a SLA oferece uma abordagem a comparar com a normalização softmax padrão. Se usar IA para estudar ou aplicar o material, evite enviar dados internos ou pessoais sem autorização e aplique a política de proteção de dados da organização.
Fonte original: Softmax Linear Attention recupera competição com complexidade linear