Binary Classifier Optimization for Large Language Model Alignment

本文是LLM系列文章，针对《Binary Classifier Optimization for Large Language Model Alignment》的翻译。

摘要

通过偏好优化使大型语言模型（LLM）与人类偏好保持一致是至关重要的，但也是劳动密集型的，需要评估人员对每个提示进行选择和拒绝的文本完成情况的比较。最近，Kahneman Tversky Optimization（KTO）已经证明，LLM可以在每个提示完成对上仅使用二进制“竖起大拇指”或“向下大拇指”信号进行对齐。在本文中，我们提出了理论基础来解释通过这些二进制信号实现的成功对准。我们的分析揭示了一个新的视角：优化一个二元分类器，其logit是一个奖励，隐式地诱导最小化直接偏好优化（DPO）损失。在这一发现过程中，我们确定了两种有效对齐的技术：奖励转移和底层分布匹配。因此，我们提出了一种新的算法，二进制分类器优化，它集成了这些技术。我们在两种情况下验证了我们的方法：第一，在配对偏好数据集上，我们的方法与DPO和KTO的性能相当；第二，在模拟真实世界条件的二进制信号数据集上，竖起大拇指和竖起大拇指的数据之间存在不同的潜在分布。我们的模型始终如一地证明了两个基本LLM和三个不同的二进制信号数据集之间的有效和稳健的对齐，展示了我们从二进制反馈中学习的方法的优势。

1 引言

2 相关工作

3 前言

4 二进制分类器优化

5 实验

6 结论

本文为使用二进制信号（如“竖起大拇指”或“拇指向下”）成功对齐大型语言模型（LLM）提供了理论基础。我们的分析表明，训练一个