O lançamento do NeoMME marca a chegada de uma nova família de encoders multimodais e multilíngues ao ecossistema open source. Disponível no Hugging Face Transformers desde 3 de setembro de 2026, o modelo propõe uma abordagem nativa para processar texto e imagens, sem recorrer a torres visuais ou decodificadores causais pré-treinados.
O que diferencia o NeoMME
Tradicionalmente, modelos para tarefas multimodais, como recuperação de documentos visuais, dependem de arquiteturas dual-tower ou de uma torre visual separada, acoplada a um decodificador textual. O NeoMME elimina essa separação: um único Transformer bidirecional processa simultaneamente tokens de texto e patches de imagem, reduzindo a complexidade e o custo computacional do pipeline. Não há dependência de encoders ou decodificadores pré-treinados de outros modelos — todo o backbone é treinado do zero.
A arquitetura foi lançada em dois tamanhos, com 260 milhões e 800 milhões de parâmetros. Ambos suportam contexto longo (16.384 tokens), suficiente para até duas imagens 4K por entrada. Os inputs de imagem são particionados em patches 32×32 e projetados por um MLP, enquanto o texto utiliza embeddings fatorizados. O modelo adota atenção deslizante na maior parte dos layers, com camadas globais a cada sexta camada e na final.
Entre os recursos técnicos, destacam-se grouped-query attention, query-key normalization, gated attention, embeddings rotativos 2D e squared-ReLU MLPs. O tokenizador BPE foi treinado do zero, abrangendo múltiplos idiomas, código, matemática e transcrições geradas por máquina.
Eficiência e resultados
O NeoMME foi pré-treinado com um objetivo de masked discrete-diffusion, misturando exemplos de texto, código, imagens naturais e documentos. O treinamento totalizou cerca de 524 bilhões de tokens, sendo 290 bilhões de texto puro — uma fração do orçamento de modelos como o ModernBERT, que usou 2 trilhões de tokens. O otimizador NorMuon foi escolhido para compensar o volume menor de dados.
No benchmark ViDoRe v3, os dois tamanhos do NeoMME aparecem na fronteira de Pareto entre nDCG@10 e tamanho do modelo. No cenário de input 2048×2048, o NeoMME-260M processa aproximadamente 51 páginas por segundo em uma GPU NVIDIA L40S, o dobro da taxa do ColModernVBERT. Técnicas como pooling hierárquico de tokens e quantização assimétrica reduziram o armazenamento de índices late-interaction de 1,5 MB para 6 kB por página, mantendo mais de 95% do baseline de nDCG@10.
Foco em recuperação visual de documentos
O fine-tuning do NeoMME foi realizado para recuperação visual de documentos, usando o método de page-image do ColPali. Em vez de depender de OCR para extrair texto de PDFs, o modelo ranqueia capturas de página como imagens, preservando layout, gráficos, fontes e outros elementos visuais relevantes. O NeoMME-Retriever retorna embeddings densos e late-interaction em um único forward pass, otimizando tanto performance quanto custo de inferência.
Por que importa
O NeoMME representa um avanço incremental, mas relevante, para tarefas de recuperação de documentos e aplicações multimodais em larga escala. Ao dispensar componentes pré-treinados externos e unificar o processamento de texto e imagem, o modelo simplifica pipelines, reduz custos operacionais e mantém desempenho competitivo. A disponibilidade open source e a licença permissiva facilitam experimentação e adoção por equipes de pesquisa e produto — inclusive no Brasil, onde o custo de GPU e a barreira de acesso a modelos fechados ainda são desafios práticos.