NLP论文速读（COLM 2024）|奖励集成是否可以解决Reward Hacking问题

论文速读|Helping or Herding?

Reward Model Ensembles Mitigate but do not Eliminate Reward Hacking

论文信息：

简介：

        本文讨论了在语言模型应用中，奖励模型（Reward Models, RMs）在对齐人类偏好方面的关键作用。然而，这种设置为语言模型提供了利用奖励模型中的错误来获得高估计奖励的动机，这种现象通常被称为奖励黑客攻击（reward hacking）。为了缓解这一问题，一个自然的解决方案是训练一个奖励模型的集成（ensemble），通过对模型输出的聚合来获得更稳健的奖励估计。

        本文