文章主要内容总结
该研究聚焦扩散语言模型(DLMs)推理性能不足的问题,核心原因是去噪步骤中掩码token独立生成,未能捕捉token间相关性(序列内相关性和序列间相关性)。为此提出多奖励优化(MRO)方法,通过设计针对性奖励函数、结合测试时缩放、拒绝采样和强化学习优化token相关性,并引入分步组奖励优化(SGRO)降低奖励方差。实验表明,MRO在数学、科学、逻辑三类推理任务中显著提升性能,同时减少去噪步骤、加快解码速度,缩小了与自回归大语言模型(LLMs)的推理性能差距。
创新点
- 明确token相关性定义:首次提出DLMs中的两种token相关性(序列内:单去噪步骤中token间依赖;序列间:不同去噪步骤生成序列的一致性),并验证其与推理准确性的正相关关系。
- 多奖励优化框架:设计三类奖励函数(序列内的token验证奖励、困惑度奖励;序列间的质量奖励),从局部一致性和全局任务质量两方面优化token相关性。
- 分步组奖励优化(SGRO):通过分组处理去噪步骤,减少潜在奖励塑造带来的方差,同时降低计算开销,平衡奖励信号强度与优化稳定性。
- 多优化策略融合:结合测试时缩放、拒绝采样、强化学习三种方式实现MRO,既支持推理时的动态优化,也支持模型参数的离线微调,兼顾性能与效率。
订阅专栏 解锁全文
1305



被折叠的 条评论
为什么被折叠?



