A ServiceNow, em colaboração com a Hugging Face, lançou em 18 de junho de 2026 o MosaicLeaks, um novo benchmark desenhado para avaliar o risco de vazamento de informações privadas em agentes de pesquisa que combinam documentos internos com buscas externas na web.
O risco do efeito mosaico
O MosaicLeaks parte de um cenário realista: agentes de IA corporativos acessam documentos sigilosos e, para responder perguntas complexas, emitem buscas externas. O risco surge quando fragmentos aparentemente inofensivos dessas buscas permitem, em conjunto, reconstruir segredos internos. Esse fenômeno, chamado de “efeito mosaico”, é central para o benchmark. Um adversário, sem acesso direto aos documentos privados, pode inferir informações sensíveis apenas monitorando o histórico de buscas do agente.
O benchmark define três níveis de vazamento:
- Intent leakage: revela o objetivo da pesquisa do agente.
- Answer leakage: permite responder perguntas privadas só pelo log de buscas.
- Full-information leakage: o observador consegue inferir fatos privados sem nem saber a pergunta original.
Como funciona o MosaicLeaks
O MosaicLeaks traz 1.001 cadeias de pesquisa multi-hop, que intercalam perguntas sobre documentos locais e públicos. Cada cadeia exige que o agente recupere informações privadas para construir a próxima consulta web, criando dependências explícitas entre contextos privados e públicos.
Os documentos privados vêm de tarefas empresariais inspiradas no DRBench; os públicos, de um corpus controlado. O split final inclui 559 cadeias para treino, 98 para validação e 344 para teste em empresas não vistas.
A avaliação ocorre em cada sub-pergunta — o agente pode planejar buscas, selecionar documentos, ler e decidir quando avançar. O risco de vazamento é avaliado pelo que um adversário consegue reconstruir apenas pelo log das buscas externas, sem acesso ao raciocínio do agente nem aos documentos internos.
Resultados iniciais e mitigação
Os testes mostram que, em agentes atuais, o vazamento é frequente. Treinamento focado apenas em desempenho de tarefa tende a piorar o problema. Para mitigar, a equipe propôs um método de RL chamado Privacy-Aware Deep Research (PA-DR). Com ele, a taxa de cadeias respondidas corretamente em todos os passos subiu de 48,7% para 58,7%. O vazamento de respostas completas caiu de 34% para 9,9%.
Esses dados sugerem que alinhar agentes para evitar vazamento explícito é possível, mas requer objetivos de treinamento específicos para privacidade — não basta otimizar apenas por acurácia da tarefa final.
Por que importa
Benchmarks como o MosaicLeaks são essenciais para empresas que pretendem adotar agentes autônomos em cenários sensíveis, como saúde, finanças ou jurídico. O risco de “vazamento por query” é subestimado: mesmo sem acesso direto a dados internos, logs de buscas podem expor informações críticas. O benchmark permite medir — e comparar — soluções, além de orientar o desenvolvimento de agentes realmente privativos. Para o mercado brasileiro, que lida com LGPD e demandas de compliance, ferramentas assim passam a ser pré-requisito e não diferencial.