Offline Regularised Reinforcement Learning for Large Language Models Alignment

本文是LLM系列文章，针对《Offline Regularised Reinforcement Learning for Large Language Models Alignment》的翻译。

摘要

无论是通过人类反馈的强化学习还是直接偏好优化，大语言模型（LLM）对齐的主要框架都是从偏好数据中学习。这涉及构建数据集，其中每个元素都是由提示、两个独立响应（提示的完成）以及两个独立响应之间的人类偏好组成的四元组，从而产生首选和不首选的响应。此类数据通常稀缺且收集成本昂贵。另一方面，每个元素都是由提示、响应和人类反馈组成的三元组的单轨迹数据集自然更加丰富。例如，此类数据集的规范元素是LLM对用户提示的响应，然后是用户的反馈，例如赞成/反对。因此，在这项工作中，我们提出 DRO（直接奖励优化）作为不需要成对偏好的框架和相关算法。 DRO 使用简单的均方目标，可以通过多种方式实现。我们使用 T5 编码器-解码器语言模型根据经验验证了我们的发现，并展示了 DRO 在 Kahneman-Tversky Optimization (KTO) 等选定基线上的性能。因此，我们确认 DRO 是一种简单且具有实证说服力的单轨迹政策优化方法。

1 引言

2 背景

3 直接奖励优化

4 实验

5 相关工作

6 结论和局限性

我们引入了DRO，这是一个在单轨迹数据集设置中对齐LLM的新框架，其中每个提示都有一个与标量奖励相关的完成。DRO摒弃了RLHF中的传统偏好设置。这样做不仅使训练明确的奖励模型变得多余，而且最重要的是，它能够利用来自用户反馈而不是评分者的潜在数量级的更多