2025_NIPS_DAPO : Improving Multi-Step Reasoning Abilities of Large Language Models with Direct Ad...

文章核心内容与创新点总结

核心内容

本文提出一种基于直接优势的策略优化（DAPO）算法，专为提升大语言模型（LLMs）的多步推理能力设计。该算法针对现有强化学习（RL）方法在推理任务中面临的奖励稀疏、训练方差高、价值估计不准确等问题，采用离线分步式强化学习框架，通过 Critic 网络提供细粒度的步骤级信号，优化推理过程中的每一步决策，最终在数学和代码任务的多个基准测试中实现性能提升。

创新点

1. 分步式优化机制：不同于 DPO、GRPO 等响应级方法对整个推理过程统一分配奖励，DAPO 聚焦步骤级优化，为每个中间推理步骤提供独立优势信号，降低训练方差。
2. Actor-Critic 分离训练：将 Critic 网络训练与 Actor 策略优化分离，先预训练 Critic 以准确估计状态价值，再用于 Actor 优化，避免传统 AC 方法的共训练不稳定性。
3. 理论保障与离线适配：提供单调改进的理论证明（Theorem 3.2），确保策略迭代过程中性能持续提升；采用离线训练模式，无需在线采样，提升数据效率。
4. 广泛适用性：在 SFT 模型和已经过 RL 训练的模型上均能有效提升性能，适配数学推理（MATH、GSM8K 等）和代码生成（HumanEval、MBPP 等）多类任务。

---

翻译部分（Markdown 格式）