2025_NIPS_Does Reinforcement Learning Really Incentivize Reasoning Capacity in LLMs Beyond the Ba...

论文核心总结与翻译

主要内容

该研究聚焦带可验证奖励的强化学习（RLVR）对大语言模型（LLMs）推理能力的影响，通过pass@k指标（大k值场景）系统测试不同模型家族、RL算法在数学、编程、视觉推理任务中的表现。核心发现包括：RLVR仅提升小k值下的采样效率（如k=1时表现更优），但无法产生全新推理模式，其推理路径均源自基础模型；随着k值增大，基础模型的pass@k分数反超RLVR模型，且RLVR训练会缩小模型的推理能力边界；六种主流RLVR算法表现相近，均远未充分利用基础模型潜力；而蒸馏技术能引入新推理模式，真正扩展模型推理能力。研究最终指出，现有RLVR未实现RL的核心潜力，需改进范式（如持续扩展、多轮智能体-环境交互）以解锁新推理能力。

创新点

1. 采用pass@k指标（大k值）评估推理能力边界，突破传统平均性能指标的局限，更精准揭示模型潜在推理能力。
2. 系统验证RLVR的推理能力边界，发现其推理路径受限于基础模型，推翻“RLVR能让模型自主获得全新推理能力”的普遍认知。
3. 对比RLVR与蒸馏技术的本质差异，明确蒸馏可扩展推理边界而RLVR仅优化采样效率，为模型推理能力提升提供新方向。
4. 量化分析六种主流RLVR算法的采样效率差距，指出现有算法的优化空间，为后续RL范式改进提供依据。

---

翻译部分（Markdown格式）

Abstract

带可验证奖励的强化学习（