O artigo “What Gets Unmasked First? Trajectory Analysis of Diffusion Models for Graph-to-Text Generation”, publicado em 29 de maio de 2026, apresenta a primeira análise sistemática sobre o comportamento de modelos de linguagem baseados em difusão mascarada (MDLMs) na tarefa de geração de texto a partir de grafos.
Como os MDLMs decodificam grafos
Ao contrário dos LLMs autoregressivos, que geram texto token a token em ordem linear, os MDLMs seguem uma trajetória de decodificação própria. Segundo os autores, esses modelos tendem a revelar primeiro entidades centrais do grafo, depois palavras relacionais e funcionais, e por fim resolvem tokens estruturais — como pontuações e finais de sentença. Essa dinâmica resulta em maior flexibilidade estrutural na saída.
Falha identificada no fine-tuning supervisionado
O estudo identificou um problema recorrente: o fine-tuning supervisionado (SFT) pode interferir negativamente na trajetória natural dos MDLMs. Especificamente, o SFT induz o modelo a fixar tokens estruturais (como finais de frase) cedo demais, o que “trava” o comprimento da saída e pode causar omissões ou alucinações de informações.
Lambda-scaled decoding: ajuste simples, ganho expressivo
Como solução, os autores propõem o lambda-scaled structural decoding, uma modificação de inferência que reduz a confiança para tokens estruturais durante a geração. O ajuste, dispensando retraining, recuperou até +9,4 pontos BLEU-4 em experimentos, segundo o artigo. A abordagem é training-free e pode ser aplicada em pipelines existentes.
Graph-LLaDA e avaliação cross-dataset
O trabalho também apresenta o Graph-LLaDA, que integra um encoder Graph Transformer ao decodificador LLaDA, incorporando explicitamente estrutura relacional do grafo. Em testes no benchmark LAGRANGE, abordagens baseadas em LLMs e MDLMs generalizaram melhor do que baselines tradicionais, que tendem a superestimar padrões específicos de dataset.
O estudo reforça a importância de analisar não só a acurácia final, mas também o processo de geração — especialmente em tarefas estruturadas como graph-to-text.