A OpenAI publicou em 8 de julho de 2026 uma auditoria detalhada sobre o SWE-Bench Pro, um dos benchmarks mais usados para avaliar modelos de codificação. O relatório aponta que cerca de 30% das tarefas presentes no conjunto público do benchmark apresentam problemas graves, gerando ruído significativo nas medições de capacidade dos modelos.
O contexto do SWE-Bench Pro
O SWE-Bench Pro foi criado para substituir o SWE-bench Verified, após a comunidade identificar falhas fundamentais e contaminação no benchmark anterior. A proposta do Pro era oferecer tarefas mais complexas, de longo prazo e com realismo ampliado, buscando medir melhor as capacidades de agentes de código. O benchmark é formado por tarefas extraídas de mudanças em repositórios reais, exigindo que o modelo implemente soluções que passem em novos testes sem quebrar funcionalidades existentes.
Segundo a OpenAI, modelos de ponta evoluíram de uma taxa de acerto de 23,3% para 80,3% em oito meses, usando o split público de 731 tarefas do SWE-Bench Pro. Esse avanço, porém, foi colocado em xeque pela nova auditoria.
Auditoria e principais achados
A auditoria envolveu uma pipeline automatizada de análise de dados, seguida de revisões por agentes investigativos baseados no Codex e, por fim, avaliações independentes de cinco engenheiros de software experientes para cada tarefa sinalizada. O processo buscou identificar tarefas com falhas de avaliação que poderiam distorcer a medição real das capacidades dos modelos.
Os resultados foram contundentes: 27,4% das tarefas foram inicialmente sinalizadas como quebradas pelo pipeline, enquanto a campanha com humanos elevou esse índice para 34,1%. Os principais problemas encontrados incluem:
- Testes excessivamente restritivos: exigem detalhes de implementação não presentes no enunciado, invalidando soluções alternativas corretas.
- Prompts subespecificados: omitem requisitos que só aparecem em testes ocultos, sem possibilidade razoável de inferência.
- Testes de baixa cobertura: permitem que correções incompletas passem como se fossem soluções válidas.
- Prompts enganosos: direcionam o modelo para comportamentos errados ou contradizem o que é exigido nos testes.
A OpenAI estima que aproximadamente 30% das tarefas do SWE-Bench Pro têm algum desses problemas e recomenda cautela ao interpretar resultados de modelos baseados nesse benchmark.
Implicações para o ecossistema de benchmarks
O relatório destaca a dificuldade crescente de criar benchmarks “duros” que permaneçam justos à medida que modelos evoluem. A combinação de agentes autônomos para triagem inicial e revisão humana detalhada mostrou-se eficaz, mas também conservadora: humanos tendem a identificar ainda mais falhas do que os agentes automatizados. O processo revelou que, mesmo em tarefas revisadas, há sobreposição de problemas — muitas delas são quebradas por múltiplos motivos.
Para desenvolvedores de modelos, a recomendação é clara: não confiem cegamente em métricas de benchmarks populares, especialmente quando avaliações externas ainda não passaram por auditorias equivalentes. O ruído identificado pode mascarar tanto limitações reais quanto avanços genuínos dos modelos.
Por que importa
Benchmarks de código são usados como referência para decisões técnicas, alocação de recursos e comunicação de progresso em IA. O alerta da OpenAI sobre o SWE-Bench Pro expõe um problema estrutural: parte relevante das métricas usadas no setor pode estar inflando ou distorcendo resultados. Para equipes brasileiras que avaliam LLMs para automação de código ou agentes de software, vale redobrar o ceticismo sobre claims de performance baseados apenas nesses benchmarks, e acompanhar de perto iniciativas de auditoria contínua.