A Hugging Face anunciou, em 30 de junho de 2026, a integração completa entre o Every Eval Ever (EEE) e o sistema Community Evals do Hub. A novidade permite que resultados de benchmarks publicados no formato EEE possam ser enviados e visualizados diretamente nas páginas dos modelos no Hugging Face, agregando rastreabilidade, padronização e maior transparência ao ecossistema de avaliações de IA.
O que muda na prática
Desde fevereiro de 2026, tanto o Every Eval Ever quanto o Community Evals vêm atuando para descentralizar e padronizar como scores de modelos são reportadosfonte. O EEE, iniciativa da EvalEval Coalition, propõe um único schema JSON para resultados de avaliação, incluindo quem rodou o teste, qual modelo, geração, parâmetros, métricas e até outputs por amostra. O Community Evals, por sua vez, permite que qualquer score seja adicionado a um modelo por pull request, exibindo resultados em leaderboards públicos e distinguindo entre submissões de autores, comunidade ou verificadas.
A integração resolve o problema clássico de fragmentação de resultados: até então, scores viviam espalhados em papers, leaderboards paralelos, blog posts e logs de harness, frequentemente em formatos incompatíveis. Agora, ao enviar um resultado EEE para o Community Evals, o score aparece na página do modelo no Hugging Face, vinculado via badge ao registro completo (JSON) no EEE. Isso garante que qualquer número exibido possa ser rastreado até sua configuração, autoria e contexto de execução.
Como funciona a integração
A Hugging Face disponibilizou um conversor que transforma registros EEE em arquivos YAML compatíveis com o Community Evals. Assim, não é mais necessário manter dois formatos manualmente. O processo permite:
- Enviar resultados para ambos os sistemas com um único esforço.
- Exibir scores nos leaderboards do Hugging Face, com badges que apontam para o EEE como fonte oficial.
- Permitir que tanto autores quanto terceiros reportem avaliações, com distinção clara de autoria e verificação.
Atualmente, o datastore do EEE já soma cerca de 229 mil resultados cobrindo mais de 22 mil modelos e 2.200 benchmarks, unificando dados antes dispersos em 31 formatos diferentes. Só a reprodução desses runs custaria centenas de milhares de dólares — argumento forte para consolidação dos dados já produzidos.
Impacto para a comunidade
A padronização facilita comparar modelos, entender diferenças de score (como casos em que o mesmo modelo, como LLaMA 65B, obteve 63,7 e 48,8 no MMLU por variação de setup) e auditar avaliações. Para pesquisadores, desenvolvedores e policy makers, a integração reduz atrito, aumenta a confiança e incentiva reporting transparente. Para o usuário final, a experiência de navegação no Hugging Face ganha em rastreabilidade e contexto, já que cada resultado pode ser inspecionado em detalhes, com configuração, notas de reprodutibilidade e outputs amostrais.
A iniciativa também endereça o desafio de manter avaliações abertas e acessíveis: uma vez publicado e integrado, o resultado não se perde nem depende de re-execução cara — fica disponível para toda a comunidade, com metadados completos e link cruzado entre plataformas.
Para quem serve
A integração é especialmente relevante para:
- Autores de modelos que buscam reconhecimento e confiança nos scores publicados.
- Avaliadores independentes ou institucionais que querem transparência e rastreabilidade.
- Usuários que precisam comparar modelos e entender o contexto de cada número apresentado.
- Organizadores de benchmarks e líderes de comunidade que prezam por interoperabilidade e dados abertos.
A ferramenta é gratuita, mas a adoção plena depende do engajamento da comunidade para converter e reportar avaliações no padrão EEE. O Hub oferece documentação, exemplos e suporte para novos contribuidores.
Nota do Daily AI
O EEE–Community Evals Integration é, hoje, referência no reporting de benchmarks em IA. Oferece o que o setor sempre pediu: interoperabilidade, transparência e rastreabilidade — sem custo extra. O desafio, daqui pra frente, é converter o ecossistema global para o novo padrão, mas o caminho está bem pavimentado.