Radar ·
GAD propõe destilação on-policy de LLMs black-box
Artigo de 13 de setembro de 2026 apresenta um método que aprende com saídas textuais de um modelo teacher proprietário, sem acesso a logits ou parâmetros.
Publicado em 13 de setembro de 2026, o artigo apresenta Generative Adversarial Distillation (GAD), um método de destilação on-policy e black-box para modelos de linguagem. A proposta usa somente as saídas de texto de um modelo teacher proprietário.
No método descrito, um discriminator distingue respostas do student das respostas do teacher em um jogo minimax. Isso permite a destilação sem acesso aos logits ou aos parâmetros do teacher. Para avaliar o alcance e as evidências da proposta, consulte o artigo original pelo título e confira nele o método e os resultados reportados; o resumo disponível não especifica resultados quantitativos.
Fonte original: GAD para destilação on-policy de LLMs black-box