2025_NIPS_Act Only When It Pays: Efficient Reinforcement Learning for LLM Reasoning via Selective Ro

文章总结与翻译

一、主要内容

本文聚焦大语言模型（LLM）推理任务中强化学习（RL）训练的效率问题，核心挑战是rollout阶段（训练迭代中在线生成数据的过程）因采样大量无信息提示词（零方差提示词）导致的计算开销过大。

1. 核心发现：零方差提示词（所有响应奖励相同、无法提供学习信号的提示词）具有强时间一致性——某一训练轮次中无信息的提示词，在后续轮次中大概率仍无信息；同时部分零方差提示词可能在后期恢复有效性，需保留一定探索性。
2. 方法设计：提出GRESO（GRPO with Efficient Selective Rollout）算法，通过三个关键组件实现高效选择性rollout：
   • 基于奖励训练动态的概率性预rollout过滤：利用历史奖励轨迹预测零方差提示词，提前跳过以减少无效计算；
   • 自调整基础探索概率：为简单和困难零方差提示词分别维护探索概率，动态适配训练阶段和模型能力；
   • 自适应采样批量大小：根据当前训练批需求动态调整rollout批量，避免冗余计算。
3. 实验验证：在6个数学推理基准和5个模型（Qwen2.5系列、DeepSeek-R1-Distill-Qwen等）上验证，GRESO在保持精度不下降的前提下，实现最高2.4倍rollout速度提升和2.0倍总训练时间提升，且可扩展至代码生成任务及RLOO等其他受零方差问题困扰的算法。

二、