NLP论文速读（ICLR 2025）|重新思考奖励模式评估：我们找错对象了吗？

论文速读|Rethinking Reward Model Evaluation:Are We Barking Up The Wrong Tree?

论文信息：

简介：

      本文研究了强化学习从人类反馈（Reinforcement Learning from Human Feedback, RLHF）中的奖励模型（Reward Models, RMs）的评估问题。在RLHF中，奖励模型是将人类偏好转化为模型优化目标的关键组件，其作用是替代人类偏好来指导语言模型的训练。然而，构建一个完美捕捉人类偏好的奖励模型是非常困难的，因此实际中的奖励模型往往是不完美的代理（proxy）。这种不完美的奖励模型可能导致下游策略优化时出现性能下降，即奖励模型过优化（reward model overoptimization）现象。目前，奖励模型的评估主要依赖于在验证集上计算准确率（accuracy），但准确率与下游策略性能之间的关系尚未被充分研究。