NLP论文速读（ICML2024）|迭代数据平滑(Iterative Data Smoothing: Mitigating Reward Overfitting and ……)

论文速读|Iterative Data Smoothing: Mitigating Reward Overfitting and Overoptimization in RLHF

论文信息：

简介：

      本文聚焦于强化学习从人类反馈中学习（Reinforcement Learning from Human Feedback, RLHF）这一关键技术，该技术旨在使语言模型与人类价值观紧密对齐。在RLHF的初始阶段，通过从排名数据中学习人类价值观来训练奖励模型。然而，研究发现奖励模型在训练一个周期后性能就会下降，且过度优化学到的奖励模型最终会阻碍真正的目标实现。为了解决这些问题，本文提出了改进的奖励学习算法——迭代数据平滑（Iterative Data Smoothing, IDS）。

      本文的动机在于：尽管RLHF在实践中取得了成功，但当前的奖励训练范式存在显著的价值-奖励不匹配问题。具体来说，交叉熵损失对于长尾偏好数据集的不适用性导致了奖励过拟合和过度优化问题