A OpenAI divulgou neste 29 de julho um avanço relevante no desempenho do GPT-5.6 Sol no benchmark ARC-AGI-3. Ao habilitar duas configurações — retenção de raciocínio e compactação — no harness de avaliação, o modelo triplicou sua pontuação no teste, saltando de 13,3% para 38,3% na métrica Relative Human Action Efficiency (RHAE).
O que mudou no teste
O ARC-AGI-3 é um benchmark focado em medir a capacidade de agentes de IA aprenderem e raciocinarem em jogos 2D desconhecidos, sem instruções explícitas. A avaliação padrão utiliza um harness genérico, que não preserva raciocínios internos do modelo e aplica truncamento da janela de contexto à medida que a conversa cresce.
No setup original, o GPT-5.6 Sol perdia, a cada ação, todo o raciocínio privado construído até então — restando apenas o histórico de movimentos e anotações breves. Além disso, o truncamento rolante fazia com que ações antigas fossem descartadas conforme a janela de contexto era preenchida. Esses fatores limitavam a capacidade do modelo de aprender ao longo do tempo e de aplicar estratégias consistentes.
Resultados com o harness ajustado
Para alinhar o benchmark ao ambiente real de produção (como ChatGPT e Codex), a equipe da OpenAI reimplementou o harness usando a Responses API, que permite reter raciocínios privados entre as interações. Com essa mudança, o modelo passou a lembrar não só das ações, mas também dos planos e insights prévios.
O segundo ajuste foi substituir o truncamento rolante pela compactação, estratégia que resume o histórico em vez de simplesmente descartar mensagens antigas. Isso permitiu ao GPT-5.6 Sol preservar aprendizado sobre cada jogo ao longo de execuções mais longas, além de reduzir em seis vezes o número de tokens gerados na saída.
Com as duas configurações ativadas, o desempenho do modelo saltou para 38,3% no ARC-AGI-3, aproximando-se da média humana estimada em 48% (segundo os logs de gameplay oficiais). O ganho reforça que detalhes de implementação de harness e gerenciamento de contexto podem impactar drasticamente os resultados de benchmarks, especialmente em tarefas que exigem memória e raciocínio sequencial.
Contexto no ecossistema de IAs
O resultado chama atenção porque o GPT-5.6 Sol já havia superado desafios como conjecturas matemáticas e jogos complexos (Pokémon FireRed, Slay the Spire) em outros contextos. No entanto, no ARC-AGI-3 — com harness padrão — sua performance era anêmica, indicando que limitações do ambiente de teste podem mascarar capacidades reais dos modelos.
A discussão sobre harnesses e avaliação de IAs é central para o setor. Benchmarks genéricos tendem a expor fragilidades, mas podem subestimar modelos que dependem de raciocínio acumulado e gerenciamento avançado de contexto. Por outro lado, harnesses otimizados para produção refletem melhor o uso real, mas dificultam comparações diretas entre modelos concorrentes.
Por que importa
O avanço reportado pela OpenAI evidencia que resultados de benchmarks não dependem apenas do modelo, mas também de detalhes operacionais do ambiente de teste. Para equipes que avaliam ou integram IAs em pipelines complexos, a lição é clara: revisar configurações de contexto e retenção de raciocínio pode desbloquear ganhos substanciais de performance, sem necessidade de novos treinamentos. O ajuste fino do harness deixa de ser detalhe técnico e passa a ser diferencial estratégico para extrair o máximo das IAs atuais.