DeepSeek与清华联合发布重磅论文：从 SPCT 到 Meta Reward Model，或预示DeepSeek R2将近

2025年4月4日，中国人工智能企业深度求索（DeepSeek）与清华大学研究团队联合发布题为《奖励模型的推理时Scaling方法及其在大规模语言模型中的应用》的重磅论文，提出自我原则点评调优（SPCT）与元奖励模型（Meta Reward Model）两大核心技术，为大语言模型（LLM）的推理能力提升开辟了全新路径。这一成果不仅被视作DeepSeek下一代推理模型R2的技术基石，更在全球AI界掀起轩然大波——它意味着，传统依赖“训练时优化”的AI发展模式，正在被“推理时扩展”的颠覆性方法论取代。

技术解析：动态奖励机制如何突破推理瓶颈？

1. 从固定架构到推理时Scaling

传统大模型依赖强化学习（RL）调整参数优化性能，但推理能力受限于固定架构。本次研究首次提出“推理时Scaling”概念：在不改变模型参数的前提下，通过动态调整奖励机制实现性能跃升。

SPCT（自我原则点评调优）：模型在推理中实时评估输出的逻辑一致性与事实准确性，并基于反馈动态优化生成策略。例如，在数学推理任务中，模型会生成多个候选答案，通过内部“自我批评”筛选最优解。

元奖励模型（Meta Reward Model）：构建多层级奖励评估体系，统一处理单响应、多响应及对比评分的复杂场景。例如，在代码生成任务中，模型可同时评估代码的功能性、可读性