2025_NIPS_d1: Scaling Reasoning in Diffusion Large Language Models via Reinforcement Learning

论文核心总结与翻译

一、主要内容

该研究聚焦于解决掩码扩散大型语言模型（masked dLLMs）的推理能力提升问题，提出了两阶段后训练框架d1，通过监督微调（SFT）与强化学习（RL）的结合，首次将策略梯度方法应用于掩码dLLMs，显著提升了模型在数学推理、规划及编程任务中的性能。

核心背景

• 自回归语言模型（AR LLMs）的推理能力已通过RL得到有效提升，但掩码dLLMs作为非自回归替代方案，虽在语言建模性能上具备竞争力，却未充分利用RL进行推理能力优化。
• 现有AR模型的RL算法（如PPO、GRPO）依赖序列的对数概率计算，无法直接应用于掩码dLLMs的迭代去噪生成过程。

技术框架

1. 监督微调（SFT）阶段：基于高质量推理轨迹数据集s1K进行微调，注入自改进行为（如中间结果验证、回溯纠错）。
2. 强化学习阶段：提出diffu-GRPO算法——一种无评论者（critic-free）的策略梯度方法，通过高效的一步对数概率估计和随机提示掩码技术，适配掩码dLLMs的生成特性，降低计算成本。

实验结果

• 在GSM8K、MATH500、数独（Sudoku）、倒计时（Countdown）等数学与规划任务中，d1-LLaDA（基于LLaDA-8B-Instruct的d1实例）持续优于基线模型及单独使用SFT或diff