Radar ·
Ridgeline: profiler roofline para inferência de LLMs
O Ridgeline é um pequeno profiler criado com PyTorch para ajudar engenheiros a analisar workloads de inferência de LLMs usando um modelo roofline.
O Ridgeline é um pequeno profiler roofline para inferência de LLMs, criado com PyTorch. A ferramenta pode ajudar engenheiros a analisar workloads com um modelo roofline, oferecendo uma forma de examinar o desempenho desses trabalhos. A descrição não detalha métodos, métricas ou resultados específicos.
Se você usar IA para estudar ou aplicar esse material, evite incluir prompts, código ou logs com dados pessoais ou informações internas. A análise do Ridgeline não é uma função da Rota Nacional, e a plataforma não afirma resolver o problema de desempenho descrito.
Fonte original: Ridgeline: um profiler roofline para inferência de LLMs