DeepSeek 汇总一下PRM和ORM的主要论文

以下是关于过程奖励模型（PRM）和结果奖励模型（ORM）的主要研究论文及其核心贡献的汇总：

---

PRM（Process Reward Model）相关论文

1. OpenAI《Let’s Verify Step by Step》

   • 贡献：首次系统对比了过程监督（PRM）与结果监督（ORM）在数学推理任务中的效果。研究表明，PRM通过逐步骤反馈显著提升模型在复杂推理中的准确性和泛化能力，尤其在长思维链场景下效果更优。
   • 方法：基于GPT-4微调，收集人工标注的PRM800K数据集，通过步骤级概率乘积计算最终奖励分数。实验显示PRM在MATH数据集上的表现优于ORM 8%以上。

2. 隐式PRM《Free Process Rewards Without Process Labels》

   • 贡献：提出无需中间步骤标注的隐式PRM训练方法，通过参数化结果奖励模型（ORM）为策略与参考模型的对数似然比，实现过程奖励的自动学习。该方法在数据效率上提升38倍，性能超越传统PRM基线。
   • 创新点：结合交叉熵损失和主动学习策略，即使在单响应训练场景下仍能优化生成模型。

3. Google DeepMind《PAV：过程优势验证器》

   • 贡献：提出基于过程优势验证器（PAV）的全自动标注方法，通过预测步骤级优势（即步骤前后正确概率的变化）优化搜索和强化学习效率。实验显示PAV在测试时搜索准确率提升8%，计算效率提升1.5-5倍。
   • 应用：在六机器人焊接任务中，PAV驱动的RL样本效率提升6倍，解决了传统PRM依赖人工标注的瓶颈。

4. Qwen2.5-Math-PRM系列

   • 贡献：阿里巴巴Qwen团队提出混合蒙特卡洛估计与LLM评判机制的PRM框架，结合一致性过滤和硬标签技术，显著降低数据噪声。该模型在PROCESSBENCH基准上的F1分数达78.3%，优于GPT-4等模型。
   • 创新：通过共识过滤（Consensus Filtering）整合MC估计与LLM-as-a-judge，提升逐步错误识别的鲁棒性。

---

ORM（Outcome Reward Model）相关论文

1. OpenAI对比研究

   • 贡献：通过MATH数据集实验验证了ORM仅依赖最终答案监督的局限性，发现其在复杂推理任务中易受稀疏奖励信号影响，导致搜索效率低下。
   • 结论：ORM适用于短推理链任务，但在长路径优化中表现弱于PRM。

2. 结果监督的强化学习应用

   • 代表性研究：如《On Delaying Collision Checking in PRM Planning》探讨了ORM在多机器人协同路径规划中的效率问题，提出延迟碰撞检测策略以减少计算开销。
   • 场景：ORM在集中式规划（如36自由度机器人系统）中表现优于解耦式规划，但需依赖高质量结果标签。

3. 组织管理领域的ORM研究

   • 应用扩展：在非技术领域（如管理科学），ORM被用于评估模型输出的整体质量，例如《Organizational Research Methods》中关于控制变量、数据质量评估的实证研究。
   • 局限性：强调结果导向可能导致中间步骤偏差积累，需结合过程指标优化。

---

对比与融合研究

• PRM vs. ORM效能分析：多项研究表明，PRM在分布外泛化、信用分配（Credit Assignment）和对齐安全性（Alignment）上优于ORM，尤其在需要透明推理的场景（如数学、编程）中优势显著。
• 混合方法：如隐式PRM和PAV验证器的提出，尝试结合ORM的数据效率与PRM的细粒度反馈，推动两阶段训练范式（先ORM后PRM）的发展。

---

总结

PRM的核心创新在于通过逐步骤反馈优化模型推理路径，而ORM更注重最终结果的质量评估。当前研究趋势聚焦于降低PRM的标注成本（如隐式学习、自动标注）和提升ORM的稀疏信号利用效率。未来方向可能包括多模态PRM、动态奖励调整机制，以及面向工业场景的端到端优化框架。

如需具体论文链接或进一步解读，可参考上述文献的原始出处。