A equipe liderada por Yair Feldman apresentou, em 8 de julho de 2026, o Co-LMLM — um modelo de linguagem com memória limitada e consultas contínuas a uma base de conhecimento externa, detalhado em preprint no arXiv.
O que é um LMLM
Modelos de linguagem com memória limitada (LMLM) buscam externalizar o conhecimento factual para uma base de dados, em vez de memorizar informações nos próprios pesos do modelo. Isso permite maior controle e atualização do conhecimento acessado durante a geração, uma limitação recorrente em LLMs convencionais. Até então, a maioria dos LMLMs dependia de bases relacionais e queries simbólicas, restringindo sua flexibilidade e aplicabilidade.
Inovação do Co-LMLM
O Co-LMLM adota uma abordagem de consultas vetoriais contínuas: a base de conhecimento armazena pares de chaves vetoriais e valores textuais, permitindo buscas flexíveis e eficientes. O modelo gera queries em espaço vetorial, recuperando informações legíveis e atribuíveis para compor respostas. O pipeline de anotação desenvolvido permite etiquetar spans factuais em textos livres, superando a limitação dos LMLMs anteriores que dependiam de dados estruturados como a Wikipedia.
Desempenho em benchmarks
Segundo os autores, o Co-LMLM foi pré-treinado em Wikipedia e FineWeb-Edu, avaliando múltiplas escalas de modelo. No cenário de 360 milhões de parâmetros, o modelo apresentou perplexidade menor que LLMs treinados com 40 vezes mais dados. Em tarefas de precisão factual, como SimpleQA, o Co-LMLM atingiu desempenho comparável ao gpt-4o-mini e superior ao Claude Sonnet 4.5 — ambos considerados referências em modelos compactos. Os resultados sugerem que a arquitetura pode ser competitiva mesmo com menos dados e menor footprint.
Limitações e próximos passos
O artigo está em fase de preprint, sem código ou modelo público até o momento. A avaliação se concentrou em benchmarks de linguagem e QA, e não há indicação de testes em tarefas multimodais ou contextos de produção. O impacto prático depende da disponibilidade do sistema e da integração com bases de conhecimento mais amplas.
Por que importa
A proposta do Co-LMLM ataca um dos gargalos centrais dos LLMs: a obsolescência e o custo de atualização de conhecimento. A capacidade de buscar informações externas via queries vetoriais pode tornar modelos compactos mais competitivos, especialmente em cenários onde factualidade e rastreabilidade são requisitos. Para equipes que dependem de precisão factual e atualização frequente, essa abordagem pode indicar um caminho para stacks de IA mais controláveis e auditáveis.