2025_NIPS_DINGO: Constrained Inference for Diffusion LLMs

文章核心总结

主要内容

该研究针对扩散语言模型（Diffusion LLMs）并行生成令牌的特性，提出了首个支持正则表达式约束的解码算法DINGO。扩散LLMs虽比自回归模型效率更高，但现有约束解码方法无法适配其并行生成逻辑，且易扭曲输出分布。DINGO通过动态规划技术，在严格遵守用户指定正则约束的同时，保证生成结果是模型预测分布下概率最高的有效输出，解决了结构有效性与分布保真性的双重问题。在符号数学推理（GSM-Symbolic）和JSON生成任务中，DINGO相比无约束推理最高提升68%性能，且实现100%语法正确性。

核心创新点

1. 首个适配扩散LLMs的约束解码算法，支持任意正则表达式约束，确保输出始终是目标语言的有效前缀。
2. 基于动态规划实现最优解搜索，在保证结构正确的同时，最大化输出概率，避免分布扭曲。
3. 兼顾效率与扩展性，计算复杂度为O(d·|Q|·(|Q|+|V|))，仅引入轻微开销，适配单块和半自回归生成场景。

---

英文原文翻译（Markdown格式）

Abstract

扩散语言模型（Diffusion LLMs） 已成为传统自回归LLM的一种极具潜力的替代方案，为提升运行效率提供了巨大可能。然而，现有扩散模型无法可靠地执行用户指定的形式化约束（如正则表达式），这使其在需要结构化输出的任务（如固定模式JSON生成）中难以信赖。与逐令牌生成