Preference-Oriented Supervised Fine-Tuning: Favoring Target Model Over Aligned Large Language Models

本文是LLM系列文章，针对《Preference-Oriented Supervised Fine-Tuning: Favoring Target Model Over Aligned Large Language Models》的翻译。

摘要

对齐，赋予预训练的大型语言模型（LLM）遵循指令的能力，对其现实世界的应用至关重要。传统的监督微调（SFT）方法将其形式化为因果语言建模，通常具有交叉熵目标，需要大量高质量的指令-响应对。然而，由于在实践中创建和维护成本高、劳动密集，广泛使用的SFT数据集的质量无法得到保证。为了克服与SFT数据集质量相关的局限性，我们引入了一种新的面向偏好的监督微调方法，即PoFT。直觉是通过施加特定的偏好来提高SFT：在相同的SFT数据上，更喜欢目标模型而不是对齐的LLM。这种偏好鼓励目标模型预测比对齐LLM预测的可能性更高的可能性，将数据质量的评估信息（即对齐LLM的预测可能性）纳入训练过程。进行了广泛的实验，结果验证了所提出方法的有效性。PoFT在不同的训练数据集和基础模型上实现了比SFT基线稳定和一致的改进。此外，我们证明PoFT可以与现有的SFT数据过滤方法集成以实现更好的性能，并通过遵循偏好优化过程（如DPO）进一步改进。

1 引言

2 相关工作

3 方法

4 实验

5 结论

在本文中，我们提出了PoFT，这是一种新颖有效的面向偏好的SFT方法，通过应用BradleyTerry目标来模拟不同模型之间的偏好。具体来说，在给定相同的SFT数据的情况下，我们有意定义了一个偏好：优先选择目标模型而不是对齐的LLM。与对齐的LLM相比，这种偏好鼓励目标模型产生更高的偏好分数。本质上，对齐的LLM提供了优化过程中数据质量的