Inference-Time Scaling for Generalist Reward Modeling

主要内容

1. 研究背景：大语言模型（LLMs）发展迅速，强化学习（RL）在LLMs的后训练中被广泛应用，奖励建模（RM）是RL的关键组成部分，用于为LLM生成准确的奖励信号。但在通用领域中，获取高质量奖励信号具有挑战性，现有RM方法在通用性和推理时的可扩展性方面存在不足。
2. 方法：提出Self - Principled Critique Tuning（SPCT）方法，用于点向生成式奖励建模（GRM）。SPCT包括拒绝微调（rejective fine - tuning）和基于规则的在线强化学习（rule - based online RL），使GRM能够自适应地生成原则和批评，从而提高奖励质量和推理时的可扩展性。同时，通过并行采样和元RM（meta RM）引导投票来进一步提升推理时的性能。
3. 实验：在多个RM基准测试中评估不同方法的性能，包括Reward Bench、PPE、RMB和ReaLMistake等。实验结果表明，DeepSeek - GRM - 27B在整体性能上优于基线方法，并且在推理时的可扩展性方面表现出色，元RM进一步提升了其性能。
4. 结论与展望：SPCT显著提升了GRM的推理时可扩展性和奖励质量。未来的研究方向包括将GRM集成到在线RL管道中、探索与策略模型的推理时协同缩放，以及作为基础模型的可靠