A NVIDIA anunciou nesta segunda-feira o Cosmos 3 Edge, um modelo de 4 bilhões de parâmetros projetado para robótica, visão computacional e agentes de IA embarcados em dispositivos edge. O modelo já está disponível publicamente no Hugging Face.
Foco em robótica e edge computing
O Cosmos 3 Edge foi desenvolvido para rodar em ambientes com restrição de memória, como fábricas, hospitais e centros de distribuição. Segundo a NVIDIA, o modelo oferece inferência eficiente em GPUs da linha RTX PRO, DGX, GeForce RTX™, além das novas plataformas Jetson T2000 e T3000, e Jetson Thor. O objetivo é levar desempenho próximo ao de data center para dispositivos embarcados e aplicações de automação.
Arquitetura: duas torres Transformer
O Cosmos 3 Edge utiliza uma arquitetura híbrida composta por duas torres Transformer:
- Autoregressiva: processa tokens de visão e texto para compreensão e raciocínio.
- Difusão: processa tokens de visão, áudio e ação para previsão, geração e simulação neural.
As torres compartilham camadas de atenção multimodal, alinhando informações entre linguagem, vídeo, áudio e comandos de ação. Essa abordagem permite que o modelo compreenda o estado atual do mundo, simule futuros possíveis e relacione ações a consequências visuais.
Controle em tempo real e benchmarks
O Cosmos 3 Edge foi otimizado para operar com resolução de observação de 640×360 pixels e gerar até 32 ações por inferência em tempo real, com controle a 15 Hz no Jetson Thor. O modelo foi avaliado como o melhor de sua categoria (4B parâmetros) no VANTAGE-Bench para visão analítica e robótica, e apresenta desempenho de ponta em aprendizado de políticas para robôs.
A representação comum de ações permite mapear diferentes formatos de controle — de braços robóticos a veículos autônomos — em vetores geométricos compactos, facilitando o treinamento e a transferência de políticas entre diferentes sistemas físicos.
Recursos para desenvolvedores
Além do modelo base, a NVIDIA disponibilizou checkpoints pós-treinados e scripts de fine-tuning, incluindo uma política de manipulação robótica treinada no dataset DROID para tarefas de pick-and-place. O Cosmos 3 Edge pode ser ajustado em clusters com GPUs H100 ou DGX Station antes de ser implantado em plataformas edge.
Por que importa
O lançamento do Cosmos 3 Edge sinaliza um avanço para aplicações de IA física fora do data center, com potencial para acelerar projetos de automação industrial, robótica e infraestrutura inteligente. A abertura do modelo e das receitas de pós-treinamento deve reduzir barreiras para desenvolvedores e integradores do ecossistema NVIDIA no Brasil e globalmente.