β-DPO: Direct Preference Optimization with Dynamic β

本文是LLM系列文章，针对《β-DPO: Direct Preference Optimization with Dynamic β》的翻译。

摘要

直接偏好优化 （DPO） 已成为训练大型语言模型 （LLM） 以符合人类偏好的一种引人注目的方法。但是，DPO 的性能对其权衡参数β的微调以及首选项数据的质量很敏感。我们分析了β和数据质量对 DPO 的影响，发现最佳 β 值随成对数据的信息量而变化。为了解决静态β值的局限性，我们引入了一种新的框架，该框架可以根据数据质量考虑在批次级别动态校准β。此外，我们的方法结合了β引导的数据过滤，以防止异常值的影响。通过实证评估，我们证明我们的动态β调整技术显着提高了 DPO 在一系列模型和数据集中的性能，为使 LLM 与人类反馈保持一致提供了更强大和适应性更强的训练范式。该代码可在 https://github.com/junkangwu/beta-DPO 获取。

1 引言

2 相关工作

3 前言

4 方法

5 实验

6 结论和未来工作

本文介绍了 β-DPO，这是一个新颖的框架，旨在通过动态调整 β 参数来响应成对数据信息量的变化来优化 DPO。我们的方法结合了β引导的数据过滤和批次级动态β校准，已经证明 DPO 在一系列模型和数据集中的性能有了显著提高。实证评估表明，β-DPO 为具有人工反馈的 LLM 提供了一种适应性强的训练范式。