A Hugging Face organizou, entre 15 de julho e 2 de agosto de 2026, um dos maiores esforços já registrados para auditar a reprodutibilidade científica usando agentes de IA. O hackathon ICML 2026 Open Reproductions mobilizou mais de 1.200 participantes, que, munidos de coding agents como Claude Code, Codex, Cursor e Pi, tentaram reproduzir os experimentos de 2.226 papers aceitos na conferência ICML deste ano—aproximadamente um terço do total publicado.
Escala inédita para revisão por agentes
Com 23.918 submissões e 6.352 papers aceitos, o ICML 2026 bateu recordes e expôs o gargalo da revisão científica tradicional: o volume supera a capacidade de voluntários. A Hugging Face propôs um novo paradigma, onde agentes de IA assumem parte do trabalho braçal: ler, codificar, rodar experimentos e reportar resultados. O desafio era simples na teoria: cada agente recebia o resumo e os principais claims científicos de cada paper, assim como instruções padronizadas para reprodução. Não era necessário baixar PDFs extensos; o alvo era concreto e verificável.
No total, os participantes produziram 6.816 logbooks públicos via Trackio, registrando código, artefatos e, em muitos casos, o trace completo da execução do agente. Cada reprodução foi avaliada por um “Logbook Judge” automatizado, usando o modelo GLM-5.2, que emitia veredictos claim a claim: verificado, falsificado, toy (escala reduzida) ou inconclusivo. O processo foi audível—cada etapa documentada e disponível como dataset na Hugging Face.
Principais resultados e aprendizados
Dos 2.226 papers auditados, 51% tiveram pelo menos um claim verificado independentemente. Destes, 266 papers foram totalmente reproduzidos (todos os claims validados), e outros 632 tiveram reprodução parcial sem nenhuma falsificação. No total, 3.978 claims individuais foram confirmados experimentalmente.
Por outro lado, 23% dos papers tiveram algum claim falsificado ou contestado. Em 49 casos, nenhum claim pôde ser verificado; e em 242 papers, equipes independentes chegaram a veredictos opostos sobre as mesmas afirmações, revelando que reprodutibilidade não é binária, mas adversarial.
O restante ficou no meio-termo: 502 papers só puderam ser testados em escala “toy” (por falta de dados ou checkpoints originais), e 280 não tiveram veredicto—geralmente por ausência de artefatos.
Casos de destaque incluem papers como “Flat Minima and Generalization: Insights from Stochastic Convex Optimization”, reproduzido por 20 equipes independentes (12 delas validando todos os claims), e “A Coin Flip for Safety: LLM Judges Fail to Reliably Measure Adversarial Robustness”, que resistiu à auditoria de agentes LLM, tendo 14 de 17 logbooks confirmando as afirmações centrais.
O papel dos agentes na revisão científica
A iniciativa demonstra que agentes de IA já conseguem, com supervisão humana, atacar o problema do volume crescente de pesquisas em IA. O modelo não elimina o papel do pesquisador, mas amplia a capacidade de revisão e destaca papers sólidos e frágeis com mais rapidez. O uso de agentes e automação para auditar conferências em larga escala pode se tornar padrão em áreas dominadas por publicações rápidas e datasets abertos.
Por que importa
O mutirão liderado pela Hugging Face inaugura uma era em que a reprodutibilidade deixa de ser um ideal abstrato para se tornar auditável em tempo quase real. Para pesquisadores, significa maior pressão por transparência e por artefatos completos. Para a comunidade, abre caminho para auditorias abertas e para a triagem automatizada de resultados científicos, ajudando a separar avanços reais de ruído. Para o mercado brasileiro, onde o acesso a revisores especialistas é limitado, a automação desse tipo de revisão pode democratizar o acesso à ciência de ponta e inspirar iniciativas similares em português.