Improving Multi-Step Reasoning Abilities of Large Language Models with Direct Advantage

本文是LLM系列文章，针对《Improving Multi-Step Reasoning Abilities of Large Language Models with Direct Advantage Policy Optimization》的翻译。

摘要

强化学习（RL）在增强大型语言模型（LLM）推理方面的作用越来越重要。尽管强化学习在许多场景中取得了成功，但在改进LLM的推理方面仍然存在许多挑战。一个挑战是稀疏的奖励，这使得RL难以进行优化，并且需要大量的数据样本。另一个挑战源于RL固有的不稳定性，特别是在使用Actor-Critic（AC）方法推导最优策略时，这通常会导致训练过程不稳定。为了解决这些问题，我们引入了直接优势策略优化（DAPO），这是一种新的步骤级离线RL算法。与仅依赖结果奖励来优化策略的标准对齐不同（如DPO），DAPO采用批评函数来预测每一步的推理准确性，从而生成密集的信号来优化生成策略。此外，DAPO中的Actor和Critic组件是独立训练的，避免了PPO等标准AC算法中观察到的协同训练不稳定性。我们在数学和代码查询数据集上训练DAPO，然后在多个基准上评估其性能。我们的结果表明，DAPO可以有效地增强SFT模型和RL模型的数学和编码能力，证明了DAPO的有效性。

1 引言

2 前言

3 直接优势策略优化

4 实验

5 讨论，局限性和未来工作

在这项工作中，我们提出了一种离线步骤级RLHF方法，称为直接优势策略优化（DAPO），旨在优化推理步骤的生成。DAPO在数学和编码基准测试中都取得了显著的性能改进，从而证明了其有效性。与DPO、DRO等标准响应级别方法相比，DAPO利用评论家功能实现了更细粒度的策略优化。与其他步骤级RLHF