O framework open source LeRobot chegou à versão 0.6.0, trazendo avanços relevantes para pesquisa e aplicação prática em robótica com IA. O anúncio, publicado em 7 de julho de 2026, destaca três frentes principais: políticas baseadas em modelos de mundo, integração ampliada com modelos de fundação da NVIDIA e uma suíte de novos benchmarks de simulação para avaliação padronizada.
Modelos que ‘imaginam’ o futuro
O tema central do lançamento é o suporte nativo a políticas que usam modelos de mundo — redes capazes de prever consequências de ações antes de executá-las. Entre as novidades, estão três abordagens distintas:
-
VLA-JEPA: aplica a arquitetura JEPA para treinar um VLA (Vision-Language-Action) compacto, baseado em Qwen3-VL-2B, que aprende a prever quadros futuros durante o treinamento. No momento da inferência, o modelo de mundo é descartado, mantendo o custo de execução baixo.
-
LingBot-VA: modelo autoregressivo que prevê vídeos e ações simultaneamente, atualizando sua “imaginação” com observações reais a cada ciclo. Permite salvar e comparar o que o robô “imaginou” com o que de fato ocorreu, rodando em uma única GPU de 24–32 GB.
-
FastWAM: une um gerador de vídeo (~5B parâmetros) e um especialista em ações em uma rede única, treinada para “sonhar” rollouts completos. Na inferência, o modelo ignora a imaginação e denoisa diretamente sequências de ação. Fine-tuning disponível a partir do checkpoint base.
Crescimento do zoo de VLAs e integração NVIDIA
A atualização amplia o suporte a modelos VLA (Vision-Language-Action):
-
GR00T N1.7: nova geração do modelo cross-embodiment da NVIDIA, substituindo a versão N1.5. Usa um VLM Cosmos-Reason2-2B (base Qwen3-VL) acoplado a um head de ação flow-matching. A integração foi testada para garantir paridade de entrada e saída com a implementação oficial da NVIDIA. Instalação simplificada via pip, com checkpoints originais suportados.
-
MolmoAct2: modelo do Allen Institute for AI portado com suporte a fine-tuning (total ou LoRA), avaliação e implantação em robôs reais. Checkpoints calibrados permitem execução zero-shot em robôs SO-100/101, ocupando ~12 GB em bf16 e fine-tuning LoRA com 24 GB.
-
EO-1: modelo VLA baseado em Qwen2.5-VL-3B, treinado em dados intercalados de visão, texto e ação. Incluído via contribuição de um dos autores originais.
-
Multitask DiT: Diffusion Transformer multitarefa (~450M parâmetros), capaz de aprender múltiplas tarefas condicionadas por linguagem natural, usando embeddings de visão e texto do CLIP.
Benchmarks unificados e novos recursos de dados
O LeRobot v0.6.0 inaugura seis novos benchmarks de simulação, integrados sob o comando lerobot-eval, que padroniza a avaliação dos diferentes modelos e políticas. Para facilitar experimentação e treinamento, o framework passa a suportar:
- lerobot-rollout CLI: ferramenta de deployment inspirada em DAgger, permitindo correção humana em tempo real e extração de falhas para reuso como dados de treino.
- FSDP: suporte a treinamento distribuído de modelos maiores que a GPU disponível.
- Cloud training: integração com HF Jobs para treinamento em nuvem.
- Dados aprimorados: suporte a sensores de profundidade, pipeline automático de anotação linguística (via VLM), codificação de vídeo customizada e carregamento até 2x mais rápido.
- Instalação enxuta: otimizações para instalação mais leve e rápida.
Por que importa
A versão 0.6.0 do LeRobot consolida o framework como referência open source para pesquisa e prototipagem em robótica baseada em IA generativa. A adoção de modelos de mundo reflete uma tendência de ponta: robôs que não apenas reagem, mas antecipam consequências, potencializando autonomia e segurança. A integração direta com modelos abertos da NVIDIA e Allen Institute facilita experimentação no Brasil, onde acesso a hardware proprietário é limitado. Com benchmarks padronizados e documentação detalhada, a atualização reduz barreiras para times acadêmicos e startups avaliarem e iterarem sobre políticas de controle avançadas.