A NVIDIA apresentou o Cosmos-H-Dreams, um simulador generativo em tempo real voltado para robótica cirúrgica. O lançamento representa um avanço sobre o Cosmos-H-Surgical-Simulator, migrando de geração offline de vídeos futuros para uma experiência interativa, onde políticas — humanas ou automatizadas — podem avaliar ações em laço fechado, sem necessidade de executar movimentos em robôs físicos.
Da simulação offline à interação em tempo real
O Cosmos-H-Surgical-Simulator foi desenhado para prever, a partir de um contexto visual e de uma trajetória robótica, as consequências visuais prováveis dessas ações em cirurgia. Isso permitiu avaliações e geração sintética de dados para modelos de visão-linguagem-ação, sem riscos para pacientes ou equipamentos. No entanto, até aqui, o processo era offline e exigia hardware robusto para rodar modelos pesados.
O Cosmos-H-Dreams distila esse modelo original em uma arquitetura causal, mais leve, capaz de operar em tempo real usando apenas uma GPU NVIDIA RTX PRO 6000. O sistema recebe um quadro RGB inicial e um fluxo contínuo dos dados cinemáticos do robô, produzindo blocos subsequentes de vídeo que refletem as ações tomadas. A solução já foi integrada ao controlador Versius, da CMR Surgical, demonstrando flexibilidade além do ecossistema original da NVIDIA.
Técnica: distilação e inferência acelerada
Para viabilizar o uso interativo, Cosmos-H-Dreams emprega uma pipeline de distilação teacher-student. O modelo “teacher” é baseado no Cosmos-H-Surgical-Simulator, que utiliza uma representação de ação unificada de 44 dimensões. Para o modelo focado em sutura de bancada com o da Vinci Research Kit (dVRK), as ações dos dois braços — incluindo translação, rotação e estado do gripper — são mapeadas para essa representação comum.
O treinamento inclui não apenas demonstrações bem-sucedidas, mas também falhas e episódios fora da distribuição, como quedas de agulha ou nós mal executados, essenciais para avaliar políticas de forma realista. A distilação ocorre em duas etapas: primeiro, o “student” aprende com trajetórias pré-computadas do “teacher”; depois, passa a gerar suas próprias sequências, ajustando-se via supervisão do “teacher” congelado para mitigar deriva de distribuição típica de modelos autorregressivos.
O modelo resultante executa difusão em poucos passos — apenas dois por quadro latente —, diferentemente do processo mais custoso do “teacher”. A arquitetura causal e o uso do FlashDreams, biblioteca de inferência acelerada da NVIDIA, garantem baixa latência para aplicações em tempo real.
Aplicações e impacto
A principal aplicação do Cosmos-H-Dreams é acelerar o ciclo de avaliação e desenvolvimento de políticas para robótica cirúrgica. Simuladores tradicionais, além de caros, têm dificuldade para modelar tecidos deformáveis, superfícies reflexivas e falhas típicas do ambiente cirúrgico. O modelo da NVIDIA aprende essas dinâmicas diretamente de dados reais, tornando o ambiente sintético mais fiel e útil para pesquisa e treinamento.
A integração com plataformas como o dVRK e o Versius amplia o alcance do simulador, permitindo que laboratórios e empresas desenvolvam e testem algoritmos sem custos logísticos elevados ou riscos de dano ao equipamento. Para o ecossistema Open-H-Embodiment, Cosmos-H-Dreams representa um salto de produtividade e segurança.
Por que importa
Simulação generativa em tempo real é um divisor de águas para robótica de precisão. Para o Brasil, onde o acesso a robôs cirúrgicos é restrito e o custo de operação é alto, um simulador acessível e realista pode democratizar pesquisa, formação e desenvolvimento de algoritmos. O Cosmos-H-Dreams reduz a barreira de entrada para inovação em cirurgia robótica, aproximando o ciclo de desenvolvimento do ambiente clínico real.