Radar ·
Diário documenta pré-treinamento de modelo MoE
Publicado em 20 de agosto de 2026, o livro gratuito relata uma tentativa de pré-treinar um modelo MoE de 1,02 bilhão de parâmetros em uma H200.
Publicado em 20 de agosto de 2026, o livro gratuito registra uma tentativa de pré-treinar um Mini Kimi K3 de 1,02 bilhão de parâmetros em uma H200. O material aborda o design do modelo e o pipeline de dados.
O diário também relata bugs de treinamento e tentativas de aumentar o throughput. Seus registros de falhas e decisões podem ajudar engenheiros a compreender desafios práticos do pré-treinamento de modelos MoE. Consulte o livro original para verificar os métodos e resultados; a descrição disponível não detalha métricas nem resultados finais.
Fonte original: Um diário de treinamento para pré-treinar um Mini Kimi K3