2025_NIPS_Is PRM Necessary? Problem-Solving RL Implicitly Induces PRM Capability in LLMs

文章总结与翻译

一、主要内容

该研究聚焦大型语言模型（LLMs）中强化学习（RL）与过程奖励模型（PRM）的关系，核心探讨“PRM是否为复杂推理能力提升的必要条件”这一关键问题，主要内容如下：

1. 核心研究背景：RL已成为提升LLMs复杂推理能力的主流方法（如DeepSeek-R1、QwQ-32B等模型通过纯RL训练实现SOTA性能），而PRM作为过程监督框架，虽旨在优化中间推理步骤，但存在定义模糊、标注成本高、易受奖励攻击等固有缺陷。
2. 关键实验发现：
   • 纯RL训练可隐式培养模型的PRM能力，无需显式PRM监督。DeepSeek-R1、QwQ-32B等RL训练模型在PROCESSBENCH基准上的F1分数（分别为83.5、83.7）显著优于直接基于PRM数据微调的判别式PRM模型。
   • 问题解决能力与过程监督能力存在显著正相关（卡方检验p<0.05），且RL训练中过程判断能力的提升常早于最终答案准确率，尤其在早期训练阶段和复杂任务中更为稳定。
   • 现有外部PRM对强RL模型的性能提升有限，甚至不如多数投票等简单基线；而基于模型内部奖励信号的Self-PRM框架能持续提升性能（尤其在大样本量下），但在难题上存在精度低（<10%）、误判错误解的局限性。
3. 补充实验验证：提出Self-REF范式，发现其仅对无RL监督的指令微调模型（如Qwen2.5-32B-Instruct）有显著PRM性能提升，对已内化过