2025_NIPS_Anchored Diffusion Language Model

文章核心总结与创新点

核心内容

本文针对扩散语言模型（DLMs）在似然建模和生成文本质量上落后于自回归模型（AR）的问题，提出锚定扩散语言模型（ADLM）。该模型通过两阶段框架，先由锚定网络预测重要token（如关键词、低频词）的分布，再基于这些锚定预测重建缺失token，同时推导了锚定负证据下界（ANELBO）作为训练目标。实验表明，ADLM在LM1B、OpenWebText等基准上显著降低测试困惑度，在零样本泛化任务中表现最优，且首次实现扩散模型在MAUVE分数上超越AR模型，生成更接近人类的文本。此外，锚定机制还可迁移至AR模型，提升其数学和逻辑推理能力。

创新点

1. 提出两阶段锚定扩散框架：通过锚定网络优先聚焦重要token，解决DLMs中重要token早期被掩码导致的上下文缺失问题。
2. 推导ANELBO训练目标：实现锚定网络与去噪网络的端到端联合训练，理论上证明可降低样本复杂度、提升似然建模效果。
3. 跨模型迁移能力：锚定机制不仅优化DLMs，还能集成到AR模型中，提出锚定思维链（ACoT），超越现有思维链方法的推理性能。
4. 突破性能瓶颈：首次让DLMs在人类文本相似度指标（MAUVE）上超越AR模型，同时缩小似然建模性能差距。

---

翻译部分（Markdown格式）

Abstract

锚定扩散语言模型（ADLM）
Litu Rout, Constantin