The Differences Between Direct Alignment Algorithms are a Blur

本文是LLM系列文章，针对《The Differences Between Direct Alignment Algorithms are a Blur》的翻译。

摘要

直接对齐算法（DAAs）通过用直接策略优化取代人类反馈强化学习（RLHF）中的强化学习（RL）和奖励建模（RM）来简化语言模型对齐。DAA可以根据其排名损失（成对与逐点）、这些损失中使用的奖励（例如，政策和参考政策的似然比或比值比）或是否需要监督微调（SFT）阶段（两阶段与一阶段）进行分类。我们首先证明了单阶段方法不如两阶段方法。为了解决这个问题，我们引入了一个显式的SFT阶段，并在单级ORPO和ASFT中引入了控制偏好优化强度的β参数。这些修改使它们在Llama Eval 2中的性能提高了+3.46（ORPO）和+8.27（ASFT），与DPO等两阶段方法相匹配。进一步的分析表明，关键因素是该方法是使用成对目标还是逐点目标，而不是特定的隐含奖励或损失函数。这些结果强调了仔细评估的重要性，以避免过早宣称对齐算法的性能增益或整体优势。

1 引言

2 前言

3 方法

4 实验设置

5 结果

6 结论

本文对DAAs进行了全面的理论和实证分析。理论上，我们证明了在每个类别中——基于赔率（ r o d d s r^{odds}