Radar ·
Como o vLLM agenda requisições e gerencia o KV cache
Artigo publicado em 26 de setembro de 2026 acompanha uma requisição no vLLM, da fila à decodificação, e explica o agendamento por iteração e a alocação de blocos de KV cache.
Publicado em 26 de setembro de 2026, o artigo acompanha uma requisição no vLLM desde a fila até as etapas de prefill e decodificação. Ele descreve como o agendamento ocorre a cada iteração e como o PagedAttention aloca blocos de KV cache à medida que as sequências crescem.
O texto relaciona esses mecanismos ao gerenciamento de batching e de memória de KV cache durante a inferência. Para conferir os detalhes, consulte o artigo original e compare os conceitos apresentados com a documentação ou o código do vLLM; o resumo disponível não informa medições nem resultados quantitativos.
Fonte original: Como o vLLM agenda requisições e aloca o KV cache