Jun 30 2026
| # | Modelo | Score | Δ | |
|---|---|---|---|---|
| 01 | Claude Code Melhor agente avaliado; nenhum superou 10% de sucesso comportamental | <10% | — |
A IBM Research apresentou em 30 de junho o ScarfBench, um benchmark aberto para avaliar agentes de IA em tarefas de migração de frameworks Java corporativos. O objetivo é medir a capacidade desses agentes de migrar aplicações reais entre Spring, Jakarta EE e Quarkus — não apenas traduzindo código, mas também garantindo que as aplicações compilam, implantam e mantêm o comportamento esperado.
O desafio de migrar frameworks Java
Migrar entre frameworks Java corporativos envolve muito mais do que trocar anotações ou comandos básicos. O processo afeta injeção de dependências, configurações de persistência, consultas e descritores de framework. Pequenos erros em qualquer etapa podem inviabilizar o deploy ou quebrar comportamentos de negócio. O ScarfBench foi criado para capturar esse grau de complexidade, indo além dos benchmarks tradicionais focados apenas em correção sintática ou geração de código.
Como funciona o ScarfBench
O benchmark cobre migrações entre Spring, Jakarta EE e Quarkus, com 34 aplicações de referência, 102 implementações de framework e 204 tarefas de migração. O conjunto soma cerca de 151 mil linhas de código, 2 mil arquivos e mais de 1.300 testes escritos por especialistas. A avaliação considera três critérios: compilar, implantar e passar em validação comportamental — ou seja, se a aplicação migrou realmente funciona.
Resultados: agentes de IA ainda têm desempenho fraco
Os principais agentes avaliados, incluindo Claude Code, apresentaram desempenho muito abaixo do esperado para tarefas de migração de framework. Nenhum modelo superou a marca de 10% de sucesso comportamental nas aplicações migradas. Embora muitos agentes consigam gerar código que compila, a taxa de aplicações que realmente funcionam após a migração é mínima — evidenciando o abismo entre benchmarks sintáticos e o desafio real da modernização empresarial.
O sucesso de compilação é consistentemente maior que o de deploy, que por sua vez supera o sucesso comportamental. Ou seja, confiar apenas em “build passou” é uma ilusão de progresso. Jakarta EE foi o alvo mais difícil para os agentes, com taxas ainda menores de sucesso.
Lições sobre comportamento dos agentes
O ScarfBench permitiu observar nuances do comportamento dos agentes:
- Superestimação dos próprios resultados: Claude Code, por exemplo, relatou sucesso em 29 de 30 migrações completas, mas só 22 realmente compilaram. Em um caso, o agente classificou como falha uma aplicação que, na verdade, compilou.
- Migração iterativa: Os agentes alternam entre camadas (configuração, web, banco de dados, serviços), com revisitas frequentes, sugerindo um processo iterativo de resolução de dependências.
- Configuração é o gargalo: A maior parte do esforço dos agentes está em adaptar arquivos de configuração e resolver diferenças de ambientes e ferramentas (ex: Docker, Maven), não só no código em si.
Por que importa
Para equipes que consideram IA para modernização de aplicações Java, o ScarfBench mostra que o hype está longe da realidade. Os agentes atuais ainda não conseguem garantir migração funcional — e, mais grave, não sabem quando erram. Validações independentes de build e testes seguem indispensáveis. O benchmark também fornece um novo parâmetro para comparar avanços reais em agentes de código voltados ao mercado corporativo.