Squeeze the Soaked Sponge: Efficient Off-policy Reinforcement Finetuning for Large Language Model

文章主要内容和创新点总结

主要内容

本文针对大型语言模型（LLMs）的强化微调（RFT）中存在的计算效率问题展开研究。现有RFT方法多基于在线策略（on-policy）强化学习（如PPO、GRPO），无法充分利用训练过程中生成的历史数据，导致计算成本高、训练效率低。为此，作者提出了一种名为ReMix（Reincarnating Mix-policy Proximal Policy Gradient） 的通用方法，通过整合离线策略（off-policy）数据，提升RFT的效率，同时保持模型性能。

实验中，基于1.5B和7B规模的基础模型，ReMix在五个数学推理基准（AIME’24、AMC’23、Minerva、OlympiadBench、MATH500）上验证了有效性：1.5B模型在仅使用0.079M响应rollout、350训练步的情况下，平均Pass@1准确率达52.10%；7B模型在0.007M/0.011M rollout、50/75训练步的情况下，准确率达63.27%/64.39%。与现有方法相比，ReMix在保持SOTA性能的同时，训练成本（rollout数据量）降低了30倍至450倍，显著提升了效率。此外，文章还分析了离线学习对模型推理行为的影响（如对短响应的偏好、自我反思行为的变化等）。

创新点

1. 混合策略近邻策略梯度（Mix-policy proximal policy gradient）：通过提高Update-To-Data（UTD）比率，同时利用当前策略和历史策略生成的数据进行训练，提升数