A Hugging Face detalhou em 14 de maio de 2026 um avanço prático para aumentar a eficiência na inferência de LLMs: o uso de continuous batching assíncrono. O método separa as etapas de preparação de batch na CPU e execução na GPU, permitindo que ambas operem em paralelo e reduzindo o tempo ocioso dos recursos de hardware fonte.
O problema do batching síncrono
No modelo tradicional, CPU e GPU alternam suas tarefas: enquanto a GPU processa, a CPU fica ociosa; ao fim, é a vez da GPU esperar. Em benchmarks reais, essa abordagem pode desperdiçar quase 25% do tempo total de geração — tempo em que a GPU aguarda a CPU preparar o próximo batch. Em um teste com geração de 8 mil tokens, usando batch de 32 e modelo de 8B parâmetros, a geração levou 300,6 segundos, sendo 24% desse tempo com GPU parada.
Conceito: batching assíncrono
A solução proposta é desacoplar essas etapas. Enquanto a GPU processa o batch N, a CPU já prepara o batch N+1. Isso é viabilizado pelo uso de CUDA streams: filas ordenadas de operações para GPU, que permitem concorrência real entre diferentes tarefas. Assim, é possível lançar operações simultâneas e manter o hardware ocupado, sem exigir mudanças nos kernels ou no próprio modelo.
A implementação exige atenção a detalhes como sincronização de dados e dependências entre batches, já que a preparação do batch seguinte depende das previsões do anterior. O artigo mostra como instrumentar o código para medir o ganho de throughput e oferece scripts para análise detalhada do tempo de CPU e GPU.
Ganho prático
A mudança para o batching assíncrono pode, segundo o perfil publicado, reduzir o tempo total de geração de 300 para 228 segundos — um ganho de 24% — apenas pelo melhor aproveitamento do hardware já existente. O custo de GPU, especialmente em endpoints pagos, torna esse tipo de otimização relevante para qualquer operação de LLM em escala.
Ressalvas e próximos passos
O artigo se concentra em conceitos e instrumentação, sem divulgar benchmarks em larga escala ou integração nativa em frameworks de inferência além do Transformers. O impacto pode variar conforme o modelo, batch size e infraestrutura.
O post faz parte de uma série sobre inferência eficiente de LLMs, com exemplos e código disponíveis para acompanhamento.