A IBM Research apresentou, em setembro de 2026, o ALTK-Evolve Consistency Analyzer — uma extensão do sistema ALTK-Evolve para agentes LLM, agora voltada a diagnosticar e reduzir a variabilidade dos agentes em execuções repetidas de tarefas idênticas [fonte].
O problema: agentes inconsistentes
A avaliação padrão de agentes LLM quase sempre se limita à acurácia média (Mean@k): executa-se o benchmark k vezes, calcula-se a taxa de sucesso média e publica-se o número. Mas, como apontam os engenheiros da IBM, isso mascara uma fragilidade prática: a mesma tarefa, repetida várias vezes, pode falhar intermitentemente, mesmo sem nenhuma mudança no input. Em benchmarks no AppWorld, um agente ReAct (base GPT-4.1) atingiu 77,4% de acerto médio em cinco execuções — mas só conseguiu sucesso em todas as cinco tentativas para 53,0% das tarefas. O gap de 24,4 pontos é o que os autores batizam de “consistency gap”.
Para aplicações críticas, como reconciliação financeira ou verificação de obrigações em contratos, essa variabilidade é inaceitável. O gap pode chegar a 30 pontos em tarefas difíceis.
Diagnóstico: Consistency Analyzer
O Consistency Analyzer identifica os pontos frágeis de decisão em trajetórias do agente. Em vez de reexecutar a tarefa inteira várias vezes, ele faz resampling de cada decisão relevante ao longo do trajeto original, solicitando múltiplas (por padrão, cinco) alternativas para cada ponto. Assim, detecta onde pequenas variações (mesmo com temperatura zero e seed fixa) podem inverter o resultado — efeito de distribuições de probabilidade “planas”, onde há empate técnico entre tokens candidatos.
O diagnóstico não exige ground truth; basta o log detalhado da execução original. Isso torna a análise eficiente e aplicável em pipelines já existentes.
Solução: Consistency Guidelines
A partir dos pontos frágeis identificados, o ALTK-Evolve gera “consistency guidelines”: instruções derivadas automaticamente das próprias trajetórias do agente. Essas guidelines são injetadas na inferência subsequente, orientando o agente a evitar escolhas ambíguas.
Os resultados são expressivos: o gap de consistência cai pela metade (de 24,4 para 12 pontos percentuais), sem sacrificar a acurácia média. O ganho se estende tanto para tarefas idênticas (Pass⁵ +16 pontos) quanto para tarefas similares (+13 pontos).
Limitações e contexto
O Consistency Analyzer foi validado em pipelines ReAct com GPT-4.1 no AppWorld, um cenário controlado. A dependência de logs detalhados limita a aplicação em agentes que não registram decisão a decisão. Além disso, o método ainda não foi testado amplamente em arquiteturas fora do padrão ReAct ou em ambientes de produção reais.
Para equipes que dependem de confiabilidade total em agentes LLM, a ferramenta representa um avanço técnico relevante. Mas seu impacto prático dependerá de adoção em stacks diversos e de testes fora do laboratório.
Nota editorial
O ALTK-Evolve Consistency Analyzer entrega valor real ao atacar um ponto cego da avaliação de agentes LLM. A integração com pipelines existentes e a redução comprovada do gap justificam uma nota 4/5. O escopo restrito e a dependência de logs finos impedem uma nota máxima — mas, para quem já usa ALTK-Evolve, é um upgrade que vale a experimentação.