2 de julho de 2026
| # | Modelo | Score | Δ | |
|---|---|---|---|---|
| 01 | OLMo 1B (com PII sintético) Unlearning em nível de parâmetro avaliado diretamente | SOTA: impreciso; suscetível a resurfacing attacks | — | |
| 02 | OLMo 7B (com PII sintético) Quando localização é precisa, até métodos simples são eficazes | SOTA: impreciso; resurfacing permanece possível | — |
O benchmark LACUNA foi apresentado em 2 de julho de 2026 como a primeira suíte de avaliação projetada para medir a precisão de métodos de unlearning em LLMs no nível dos parâmetros do modelo, e não apenas no comportamento de saída.
O que diferencia o LACUNA
Os métodos de unlearning, que buscam apagar informações sensíveis (como PII) já aprendidas por LLMs, tradicionalmente são avaliados apenas pelo que o modelo passa a responder após o processo. O LACUNA inova ao criar um ambiente controlado: injeta PII sintético em parâmetros específicos de modelos OLMo de 1B e 7B parâmetros, via masked continual pretraining. Isso permite saber exatamente onde a informação foi armazenada e medir se o unlearning realmente removeu o dado — ou apenas o escondeu temporariamente.
Resultados: métodos atuais falham em precisão
Testando técnicas SOTA de unlearning, o LACUNA revelou que, mesmo quando a saída do modelo parece corrigida, os métodos frequentemente não apagam de fato os dados dos parâmetros relevantes. Isso os deixa vulneráveis a resurfacing attacks — ataques que recuperam informações supostamente apagadas. O benchmark mostrou ainda que, quando a localização dos parâmetros é eficaz, até métodos simples baseados em gradientes conseguem remover e proteger melhor os dados sensíveis.
Por que importa
A capacidade de “desaprender” informações específicas é central para privacidade e conformidade em LLMs, especialmente diante de regulações como GDPR. O LACUNA fornece, pela primeira vez, uma métrica objetiva para avaliar se um método de unlearning é robusto de fato, e não apenas superficial. Para pesquisadores e equipes que integram LLMs a sistemas sensíveis, o benchmark representa um avanço essencial — e um alerta: confiar só na avaliação de saída pode ser insuficiente para garantir privacidade real.
Fonte: arXiv:2607.02513v1.