A proposta do OmniAgent, apresentada em paper aceito na ICML 2026 (arXiv), redefine o paradigma de compreensão de vídeo em IA. O agente utiliza um ciclo nativo de percepção ativa, integrando múltiplas modalidades (áudio, vídeo e texto) sem depender da análise exaustiva de todos os frames ou do pré-processamento global típico em modelos passivos.
O que muda com percepção ativa nativa
Modelos tradicionais para compreensão de vídeos longos aplicam uma abordagem “watch-it-all”, processando cada frame de maneira uniforme e fazendo com que o custo computacional cresça linearmente com a duração do vídeo. Mesmo frameworks interativos recentes ainda escaneiam o vídeo como um todo antes de responder queries, mantendo o gargalo do contexto.
O OmniAgent rompe com esse padrão ao estruturar a compreensão como um ciclo iterativo de “Observação-Pensamento-Ação” (Observation-Thought-Action), formalizado como um POMDP (Processo de Decisão de Markov Parcialmente Observável). Em vez de analisar tudo de uma vez, o agente executa ações sob demanda para extrair informações relevantes, armazenando-as em uma memória textual persistente.
Essa arquitetura permite que o tempo de raciocínio e o custo de contexto sejam desacoplados da duração total do vídeo — o agente pode explorar e raciocinar sobre partes específicas conforme necessário, tornando-se mais escalável em cenários de vídeos extensos.
Treinamento e inovação técnica
O OmniAgent foi treinado usando uma combinação de técnicas:
- Agentic Supervised Fine-Tuning: bootstrapping da percepção ativa por meio de síntese de trajetórias best-of-N, com controle de qualidade em duas etapas.
- Agentic Reinforcement Learning com TAURA: mecanismo de ajuste que utiliza a entropia em nível de turno (turn-level entropy) para direcionar o crédito para momentos cruciais de descoberta.
O paper destaca que o OmniAgent exibe “positive test-time scaling”: o desempenho melhora conforme o número de ciclos de raciocínio cresce, validando a tese de percepção ativa nativa.
Resultados nos benchmarks
Em testes realizados em dez benchmarks do campo, como VideoMME e LVBench, o OmniAgent atingiu o estado da arte entre os modelos open-source. O destaque está no benchmark LVBench, onde o modelo de 7B parâmetros superou o Qwen2.5-VL-72B, um modelo dez vezes maior (50,5% contra 47,3% de acurácia). Os resultados sugerem que a abordagem ativa pode ser mais eficiente do que simplesmente aumentar o tamanho do modelo para tarefas de vídeo multimodal.
Implicações e próximos passos
Ao desacoplar o custo de raciocínio da duração do vídeo, o OmniAgent abre caminho para aplicações de IA em contextos de vídeo extensos — de monitoramento automatizado a análise de eventos esportivos longos e educação à distância. A estratégia de percepção ativa pode influenciar futuras arquiteturas de agentes multimodais, especialmente em cenários onde recursos computacionais são limitados.
O código e os modelos do OmniAgent serão disponibilizados como open-source, o que pode acelerar a adoção e o desenvolvimento de variantes pela comunidade.