Radar ·
Espectros de pesos sinalizam memorização em LLMs
Análise preliminar relata que o expoente α da matriz K de atenção acompanha a memorização de rótulos aleatórios durante o treinamento, com variações entre camadas.
Publicado em 24 de setembro de 2026, o relato descreve uma análise preliminar que usa WeightWatcher para monitorar espectros de pesos durante o treinamento de LLMs com rótulos aleatórios. O expoente α da matriz K de atenção acompanhou a memorização em diferentes seeds, mas o efeito variou por camada.
Os resultados sugerem um possível sinal espectral para observar a passagem da generalização à memorização; não estabelecem um indicador definitivo. Para conferir o método, o escopo e as conclusões, consulte a publicação original e verifique como foram definidos os experimentos e as medidas. Se usar IA para estudar ou aplicar o material, evite inserir dados organizacionais sensíveis sem antes aplicar as políticas de proteção da sua organização.
Fonte original: Espectros de pesos acompanham memorização de rótulos aleatórios em LLMs