Radar ·
NoRA muda a inicialização do LoRA
Post de 2 de setembro de 2026 descreve o NoRA, que normaliza as colunas da matriz A do LoRA na inicialização, e relata resultados médios superiores aos de vários métodos em SFT e RLVR.
Publicado em 2 de setembro de 2026, o post apresenta o Normalized Low-Rank Adaptation (NoRA), uma abordagem que normaliza as colunas da matriz A do LoRA durante a inicialização. Segundo o texto, o NoRA-init alcança a maior parte dos ganhos sem manter a normalização ao longo do treinamento.
O post relata médias superiores às de vários métodos de adaptação em SFT e RLVR, sem detalhar aqui valores ou condições experimentais. A proposta pode interessar a quem estuda treinamento com LoRA; consulte o post original para verificar métodos, métricas e limites dos resultados. Se usar IA para analisar o material, evite inserir dados internos ou pessoais da organização.
Fonte original: NoRA altera a inicialização do LoRA ao normalizar A