8 de outubro de 2026
| # | Modelo | Score | Δ | |
|---|---|---|---|---|
| 01 | GPT-5.4 Déficit substancial em transições visuais | abaixo do desempenho humano | — | |
| 02 | Qwen3-VL-235B-A22B Falhas recorrentes em tarefas de raciocínio | abaixo do desempenho humano | — | |
| 03 | MLLMs avaliados (total: 38) Limitação comum à família de modelos | todos abaixo do humano | — |
O WOVEN, benchmark recém-publicado em 8 de outubro de 2026, propõe um novo padrão para avaliar a capacidade de raciocínio de transição visual em modelos de linguagem multimodais (MLLMs). O estudo parte da hipótese de que deficiências em raciocínio espacial, físico e temporal nesses modelos têm uma raiz comum: a dificuldade em prever transições visuais entre estados do mundo.
O que é o WOVEN
O WOVEN fornece um conjunto de dados e um protocolo de avaliação centrados em transições visuais. São 36.076 exemplos, abrangendo 20 tipos de cena, 5 tipos de ação e 8 tipos de raciocínio, todos derivados de rollouts realistas gerados por modelos de vídeo pré-treinados. O benchmark permite comparação controlada entre diferentes modelos e tarefas, algo raro em avaliações anteriores, que tratavam cada déficit de forma isolada.
Resultados: modelos de ponta ainda falham
Os autores avaliaram 38 modelos multimodais de última geração, incluindo nomes como GPT-5.4 e Qwen3-VL-235B-A22B. O resultado foi claro: mesmo os modelos mais avançados tiveram desempenho significativamente inferior ao de humanos em tarefas de transição visual. As falhas não se restringem a uma arquitetura ou escala, mas aparecem de forma recorrente em toda a família de MLLMs testados.
Treinamento com WOVEN melhora benchmarks externos
Ao treinar modelos com subconjuntos do WOVEN (cerca de 2.000 exemplos por subconjunto), observou-se melhora em 22 de 26 benchmarks externos, com ganhos de até 27,3 pontos percentuais. Além disso, dados do WOVEN podem substituir de 30% a 50% dos dados de treinamento de tarefas específicas, mantendo acurácia comparável. A análise sugere que supervisionar pelo tipo de raciocínio — e não apenas pelo tipo de ação ou cena — traz ganhos substanciais de robustez.
Por que importa
A lacuna entre humanos e MLLMs em raciocínio sobre transições visuais é mais ampla do que benchmarks tradicionais sugerem. O WOVEN não só evidencia essas limitações, mas também apresenta um caminho para treinar modelos multimodais mais capazes de generalizar entre domínios e tarefas. Para empresas e pesquisadores que dependem de MLLMs em aplicações críticas — como robótica, análise de vídeo ou simulação —, o benchmark redefine o patamar do que significa “entender o mundo visual” em IA.