Radar ·
RLT mantém estado recorrente entre tokens
Publicado em 13 de setembro de 2026, o resumo descreve um Transformer com decoder recorrente que carrega estado entre tokens durante o prompt e a geração.
Publicado em 13 de setembro de 2026, o resumo apresenta o Recurrent Looped Transformer (RLT). Seu encoder causal cria uma memória KV global; o decoder recorrente também usa um cache KV dos tokens recentes e o estado final do decoder do token anterior. Esse estado persiste pelo prompt e durante a geração.
Segundo o resumo, essa abordagem estende o caminho temporal de informação de um Transformer sem aumentar os blocos do decoder por token. Para conferir os detalhes, consulte a publicação ou o material original do projeto e compare a descrição da arquitetura e os resultados ali apresentados com este resumo; o texto fornecido não especifica métricas ou avaliações.
Fonte original: Recurrent Looped Transformer carrega estado do decoder entre tokens