DAPO算法详解

论文链接

一、算法核心思想

论文提出解耦裁剪与动态采样策略优化（DAPO）算法，专门针对大规模语言模型（LLMs）的强化学习训练。采用四种技术在一定程度上解决了近端策略优化（PPO）和组相对策略优化（GRPO）存在的问题：

• 熵崩溃（随着训练的进行，策略的熵迅速降低）

• 奖励噪声（截断样本的奖励设置不当会引入）

• 训练不稳定

二、预备知识（PPO与GRPO）

PPO

PPO提出了基于裁剪替代目标函数的策略优化方法。该算法通过裁剪机制将策略更新约束在旧策略的邻近区域内，从而有效稳定训练过程并提升样本利用率。具体而言，PPO通过最大化如下目标函数实现策略更新：

J PPO ( θ ) = E ( q , a ) ∼ D , o ≤ t ∼ π θ old ( ⋅ ∣ q ) [ min ⁡ ( π