Bookmarks atualizados diariamente: notícias, fatos e descobertas relevantes.
Publicações 1216
Engenharia ·
Publicado em 26 de setembro de 2026, o resumo relata que o Transformer-Within-Transformer substitui grupos contíguos de camadas semelhantes por camadas substitutas com attention. Em DINOv2, a abordagem teria usado cerca de metade do compute, com pequena queda de acurácia.
Engenharia ·
Em 26 de setembro de 2026, uma publicação da Xiaomi MiMo apontou para ambientes de aprendizado por reforço, código de treinamento e um dataset MiMo-V2.6 RL para explorar fluxos de trabalho com modelos de linguagem.
Engenharia ·
Publicado em 25 de setembro de 2026, o post descreve uma alternativa à projeção de valores na atenção: memória indexada por tokens, específica de cada camada, combinada a keys contextuais.
Engenharia ·
Post publicado em 25 de setembro de 2026 descreve uma alteração na atenção do Transformer: substituir a projeção de valores aprendida pela soma de chaves contextuais e vetores de memória indexados por token, específicos de cada camada. A memória pode ficar na CPU.
Engenharia ·
Biblioteca da NVIDIA com quantização, destilação, pruning, neural architecture search e speculative decoding, com checkpoints exportáveis para runtimes de inferência.
Engenharia ·
Um estudo investiga pré-treinamento escalável a partir de inicialização aleatória, usando um gerador de programas e um aprendiz, sem treinar com dados reais.
Engenharia ·
Lançada em 25 de setembro de 2026, a coleção open source reúne tarefas, ambientes, avaliações e treinamento para otimizar modelos pequenos em programação e ciência de dados.
Engenharia ·
Memória eficiente melhora o serviço. O projeto também precisa impedir que contexto de uma sessão apareça na resposta de outra.
Engenharia ·
Artigo publicado em 24 de setembro de 2026 apresenta camadas de complexidade linear e estados ocultos expressivos, atualizados por aprendizado autossupervisionado.
Engenharia ·
Bookmark de 24 de setembro de 2026 aponta para um artigo sobre backup de secret keys valiosas. O registro destaca a preocupação de segurança, mas não informa métodos nem resultados específicos.
Engenharia ·
Uma publicação de 24 de setembro de 2026 descreve uma variante de atenção que subtrai dois mapas para reduzir ruído e destacar o sinal. O texto aponta interesse para engenheiros que estudam alternativas à atenção padrão.
Engenharia ·
Publicação de 24 de setembro de 2026 traça uma progressão de métodos de policy gradient usados no treinamento de LLMs, de vanilla policy gradient e REINFORCE até PPO, GRPO e variantes de GRPO.
Engenharia ·
Análise preliminar relata que o expoente α da matriz K de atenção acompanha a memorização de rótulos aleatórios durante o treinamento, com variações entre camadas.
Engenharia ·
O trabalho apresenta técnicas para acelerar attention em GPUs Hopper, explorando execução assíncrona, baixa precisão, tráfego de memória e melhor utilização do hardware.
Engenharia ·
Publicado em 24 de setembro de 2026, o resumo descreve uma análise sobre taxas de aprendizado iguais nas matrizes A e B do LoRA e uma proposta de usar taxas diferentes em modelos largos.
Engenharia ·
Publicado em 24 de setembro de 2026, o artigo explora conexões teóricas entre modelos de espaço de estados, como Mamba, e variantes de attention, por meio de matrizes semisseparáveis estruturadas.
Engenharia ·
Uma arquitetura proposta para pré-treinamento e inferência eficientes em sequências longas busca contornar limitações dos Transformers.
Engenharia ·
Publicado em 24 de setembro de 2026, o resumo apresenta Memory Attention, uma proposta que substitui a projeção de valores aprendida do Transformer e é examinada em várias variantes de attention.
Engenharia ·
Uma busca pode reunir informações de vários documentos. A privacidade precisa acompanhar recuperação, contexto e resposta.
Engenharia ·
Publicado em 24 de setembro de 2026, o artigo apresenta a Retentive Network, uma arquitetura de modelos de linguagem que propõe combinar treinamento paralelo com paradigmas de inferência recorrente e recorrente por blocos.
