NLP论文速读（ICLR 2024）|通过群体不变学习改进与人类偏好对齐的泛化

论文速读|IMPROVING GENERALIZATION OF ALIGNMENT WITH HUMAN PREFERENCES THROUGH GROUP INVARIANT LEARNING

论文信息：

简介:

本文探讨了基于语言模型（LLMs）的AI助手的成功，这些助手依赖于从人类反馈中进行强化学习（RLHF），以生成更符合人类偏好的响应。随着AI助手的广泛应用，期望它们能够在各种领域中保持一致的性能。然而，现有的强化学习（RL）方法往往利用捷径来获得高奖励，忽视了具有挑战性的样本。这种对快速奖励的追求不仅影响了训练的稳定性，还削弱了模型对新数据的泛化能力。

本文的动机是解决现有RL方法在处理不同数据组时的泛化能力不足的问题。由于RL模型往往专注于最大化预期未来奖励，而忽视了数据组之间的差异，导致模型在面对不同分布的数据时表现不稳定。为了提高模型在不同数据组中的一