Inference-Time Scaling for Generalist Reward Modeling

主要内容

1. 研究背景：大语言模型（LLMs）发展迅速，强化学习（RL）在LLMs的后训练中被广泛应用，奖励建模（RM）是RL的关键组成部分，用于为LLM生成准确的奖励信号。但在通用领域中，获取高质量奖励信号具有挑战性，现有RM方法在通用性和推理时的可扩展性方面存在不足。
2. 方法：提出Self - Principled Critique Tuning（SPCT）方法，用于点向生成式奖励建模（GRM）。SPCT包括拒绝微调（rejective fine - tuning）和基于规则的在线强化学习（rule - based online RL），使GRM能够自适应地生成原则和批评，从而提高奖励质量和推理时的可扩展性。同时，通过并行采样和元RM（meta RM）引导投票来进一步提升推理时的性能。
3. 实验：在多个RM基准测试中评估不同方法的性能，包括Reward Bench、PPE、