A Comprehensive Survey of LLM Alignment Techniques: RLHF, RLAIF, PPO, DPO and More

已于 2024-10-30 15:06:55 修改
阅读量1.1k 收藏 12
点赞数 23
文章标签： 论文笔记 语言模型
于 2024-10-29 17:27:29 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/qq_46094659/article/details/143331527
版权

目录

1. Abstract：

大型语言模型（LLM）在生成人类查询的事实上和连贯回答方面的能力，以及训练数据质量参差不齐导致的挑战。论文提出了对LLM进行对齐的不同方法，以增强其与人类期望的一致性，并指出之前缺乏对这些方法的全面分类和详细解释。本工作旨在通过分类和详细解释每种对齐方法，帮助读者全面了解该领域的当前状态。

2. 分类大纲

提供了LLM对齐的关键元素的简洁介绍，包括四个主要方向：奖励模型、反馈、强化学习（RL）策略和优化。每个方向进一步细分为子主题，并提供了详细的讨论
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

3. Reward model

显式奖励模型（Explicit Reward Model） vs. 隐式奖励模型（Implicit Reward Model）

显式奖励模型：通过在预训练的LLM上微调，基于提示和成对的响应（一个期望的响应和一个不期望的响应）来派生出明确奖励模型。这个模型随后用于RL设置中以对齐LLM策略。
隐式奖励模型：不经过训练显式奖励模型的过程。例如，在DPO（Direct Preference Optimization）中，建立了最优奖励模型和RL中最优策略之间的映射，允许在不直接派生奖励模型的情况下对齐LLM。

逐点奖励模型（Pointwise Reward Model） vs. 偏好模型（Preference Model）

逐点奖励模型：返回一个奖励分数，即给定提示x和响应y的r(x, y)。
偏好模型：直接模型P(yw > yl|x) = σ(r(x, yw) − r(x, yl))，基于Bradley–Terry (BT)模型，但这种方法不能直接获得成对偏好，并且不能容纳人类标记的不一致性。

响应级奖励（Response-Level Reward） vs. 令牌级奖励（Token-Level Reward）

响应级奖励：在原始数据集中，以三元组形式收集的数据，即{x, yw, yl}，奖励是针对整个响应给出的。
**令牌级奖励：**在马尔可夫决策过程（MDP）中，每个动作后都会给出奖励，导致状态的改变。为了在每个动作后实现对齐，引入了令牌级奖励模型。

负偏好优化（Negative Preference Optimization）

在RLHF数据集中，人类标记了期望的和不期望的响应。随着LLM能力的提高，一些研究人员提出LLM可以生成比人类标记者更高质量的期望响应。因此，他们选择只使用数据集中的提示和不期望的响应，使用LLM生成期望的响应。

这些类别涵盖了奖励模型的不同方面，包括如何派生奖励、奖励的粒度（响应级或令牌级），以及如何处理正负反馈。通过这些不同的方法，研究人员可以更有效地对齐LLM，使其生成的响应符合人类的期望和价值观。

4. Feedback

偏好反馈（Preference Feedback） vs. 二进制反馈（Binary Feedback）

偏好反馈：涉及到比较和选择多个响应中的偏好，例如在RLHF中收集的“更好”或“更差”的反馈。
二进制反馈：是一种更简单的反馈形式，通常涉及正面（如“点赞”）或负面（如“不点赞”）的直接评价。

成对反馈（Pairwise Feedback） vs. 列表反馈（Listwise Feedback）

成对反馈：涉及到将两个响应进行比较，以确定哪一个更受偏好。
列表反馈：涉及到对一组响应进行排名或评分，这可以加快标签过程，因为可以一次性为一个提示收集多个响应。

人类反馈（Human Feedback） vs. AI反馈（AI Feedback）

人类反馈：直接从人类评估者那里获得的反馈，他们被要求对多个响应进行比较和评价。
AI反馈：随着LLM的发展，现在可以使用AI系统来收集对齐LLM的反馈，这可以减少人类评估的劳动强度和成本。
这些反馈类别提供了不同的方式来收集和利用评价信息，以改进LLM的性能。偏好反馈和成对反馈更侧重于比较和选择，而二进制反馈和列表反馈则提供了更简单或更批量的评价方式。人类反馈和AI反馈则涉及到反馈来源的不同，人类反馈通常更可靠但成本更高，而AI反馈则可能更便宜但可能存在准确性问题。通过这些不同的反馈方法，研究人员可以更灵活地调整和优化LLM，以更好地满足特定的应用需求和性能目标。

5. RL策略

基于参考的RL（Reference-Based RL） vs. 无参考的RL（Reference-Free RL）

基于参考的RL：在RLHF中，目标是最小化当前策略（πθ）和参考策略（πref）之间的距离。这种方法侧重于保持与初始SFT模型的一致性。
无参考的RL：一些方法提出了避免使用参考策略的方法，以减少内存负担和计算复杂性。例如，SimPO提出了一种不需要参考策略的目标函数。

长度控制RL（Length-Control RL）

当使用LLM作为评估器时，观察到它们倾向于偏好冗长的回答。为了解决这个问题，一些工作如R-DPO和SimPO在RL目标中加入了对输出长度的考虑。

RL中的不同散度（Different Divergences in RL）

在RLHF中，通常使用反向Kullback-Leibler (KL) 散度来衡量当前策略和参考策略之间的距离。然而，KL散度可能导致回答的多样性降低。因此，研究者探索了不同的散度度量，如Jensen-Shannon散度。

在线策略RL（On-policy RL） vs. 离线策略RL（Off-policy RL）

在线策略RL：在训练过程中，使用最新版本的策略来生成响应。这种方法可以实时采样响应，但可能需要更多的计算资源。
离线策略RL：依赖于之前生成的响应，这些响应可能与当前策略不一致，从而节省了在训练过程中生成新响应的时间。

6. 优化

- 迭代/在线偏好优化（Iterative/Online Preference Optimization）

当使用收集的数据集进行对齐时，这个过程被称为非迭代/离线偏好优化。而迭代/在线偏好优化在人类标记新数据或LLM同时生成和评估响应时变得可行。

- 合并SFT和对齐（Merging SFT and Alignment）

在RLHF中，SFT和对齐通常是顺序分离应用的，这可能导致灾难性遗忘。为了解决这个问题，一些研究如ORPO提出了将SFT与对齐集成到一个过程中，以简化微调。

7. 具体方法

RLHF：在这里插入图片描述
在这里插入图片描述
SliC-HF:
在这里插入图片描述
RSO
在这里插入图片描述
DPO
在这里插入图片描述
在这里插入图片描述
DPOP
在这里插入图片描述
β \beta β-DPO:
在这里插入图片描述
IPO:
在这里插入图片描述
GPO:
在这里插入图片描述
Token-level DPO：
在这里插入图片描述
TDPO
在这里插入图片描述
**Iterative/online DPO: **
在这里插入图片描述
在这里插入图片描述
KTO:
在这里插入图片描述DRO:
在这里插入图片描述
在这里插入图片描述
ORPO (merge DFT and alignment):在这里插入图片描述
PAFT:
在这里插入图片描述
R-DPO:
在这里插入图片描述
SimPO:
在这里插入图片描述
RLOO:
在这里插入图片描述
LiPO:
在这里插入图片描述
RRHF:
在这里插入图片描述

PRO:
在这里插入图片描述
NN (Negating negatives:)
在这里插入图片描述
CPO:
在这里插入图片描述
Nash Learning 是一种在大型语言模型（LLM）对齐中使用的策略，它基于博弈论中的Nash均衡概念。Nash Learning 的核心思想是直接对模型的偏好进行建模，而不是依赖于点式奖励或成对比较。这种方法试图通过考虑所有可能的模型策略来找到最优的策略，从而实现更好的对齐。以下是论文中提到的几种Nash Learning 方法：

Nash Learning from Human Feedback
在这里插入图片描述

这种方法使用Nash均衡来处理人类反馈，而不是依赖于点式奖励模型。它通过直接建模两个策略之间的偏好概率来实现，从而避免了使用Bradley-Terry模型和点式奖励的需要。
Self-Play Preference Learning (SPPO)
在这里插入图片描述

SPPO将RLHF重新解释为一个两玩家零和游戏，消除了对奖励模型的需求，使过程对噪声、非传递性和非马尔可夫偏好更加鲁棒。通过利用游戏的对称性，单个代理可以采样多个轨迹，然后使用胜率作为奖励来评估这些轨迹。
Direct Nash Optimization (DNO)

DNO采用了批量的在线策略算法，通过单时间尺度更新来简化问题，从而提高采样效率。这种方法试图通过回归内部奖励函数来简化Nash均衡的寻找过程。
在这里插入图片描述

在这里插入图片描述

Future

  • 通用任务用于对齐评估：开发和结合特定的任务，创建一个统一的排行榜，用于评估和比较不同对齐方法的性能。
  • 将隐式奖励模型、列表偏好和Nash学习应用于更大规模的LLM：将这些方法扩展到更大的模型上，如GPT-4和Claude-3，以了解它们与RLHF/PPO相比的有效性。
  • 在二进制反馈上进行实验：研究如何利用更容易收集的二进制反馈数据来对齐LLM，并探索如何有效过滤噪声数据。
  • 使用AI反馈进行实验：使用LLM生成的帮助性反馈来进一步对齐LLM，使模型能够自我改进。
  • 加速Nash学习：研究如何减少Nash学习方法所需的迭代次数，以加快对齐过程。
  • 确定迭代/在线学习的终止点：研究如何确定合理的迭代终止点，以避免过拟合并保持模型在特定任务上的性能。
  • 简化SFT和对齐的结合：探索如何有效地结合SFT和对齐，以实现高性能的同时保持训练过程的效率。
  • 探索不同的散度度量：研究在对齐过程中使用不同的散度度量（如Jensen-Shannon散度）对模型性能的影响。
  • 处理分布外数据：开发方法来提高LLM在处理分布外数据时的鲁棒性和性能。
  • 提高对齐方法的可解释性：研究如何提高对齐方法的可解释性，以便更好地理解模型的决策过程。
  • 跨领域和跨语言的对齐：探索对齐方法在不同领域和语言中的应用，以及如何适应不同的文化和语境
好好好_
关注
论文阅读：2024 ICML Is DPO Superior to PPO for LLM Alignment? A Comprehensive Study
CSPhD-winston的博客
04-20 774
在对话、代码生成等多任务中，PPO全面超越DPO，尤其在**代码竞赛任务（CodeContest）**中，PPO模型（340亿参数）的正确率从基线的16.4%提升至22.4%，超过AlphaCode（410亿参数）。PPO（近端策略优化）**的优劣，并通过理论分析和实验对比得出了关键结论。：学术基准测试中DPO常表现更好，但工业界（如ChatGPT）却普遍使用PPO。这篇论文主要探讨了大语言模型对齐中两种主流方法——**DPO（直接偏好优化）
LLM - 理解 多模态大语言模型(MLLM) 的 对齐微调(Alignment) 与相关技术 (五)
AGI
09-19 1696
对齐微调 (Alignment Tuning)，通常用于需要将模型与特定人类偏好对齐的场景中，例如，在响应中包含更少的幻觉。目前，基于人类反馈的强化学习(Reinforcement Learning with Human Feedback, RLHF) 和 直接偏好优化(Direct Preference Optimization, DPO) 是对齐微调的两种主要技术。依次介绍这两种技术的主要思想，提供用于解决实际问题的示例，最后，给出相关数据集的汇总。
活动报名｜LLM Alignment综述及RLHF、DPO、UNA的深入分析
BAAIBeijing的博客
09-20 136
报告主题：LLM Alignment综述及RLHF、DPO、UNA的深入分析报告日期：09月24日（周二）10:30-11:30报告要点:报告将深入探讨以下两篇重要文章：1. A Comprehensive Survey of LLM Alignment Techniques: RLHF, RLAIF, PPO, DPO and More 以及 2. UNA: Unifying Alignment...
LLM对齐技术综述：RLHF、RLAIF、PPO、DPO 等
m0_59235245的博客
01-22 3355
大语言模型对齐技术综述：RLHF、RLAIF、PPO、DPO 等：论文对LLM对齐技术进行了全面综述，将相关研究论文分类为奖励模型、反馈、强化学习（RL）和优化等主题，详细解释各对齐方法，分析不同方法的优缺点，探讨未来研究方向，以帮助读者深入理解该领域现状，为研究人员提供参考。过去几十年中，通过自监督学习对 LLM 进行预训练取得了重大进步，这得益于更大的decoder-only Transformer 的发展、数万亿tokens的利用以及跨多个 GPU 的计算并行化。
Salesforce：超全面LLM对齐技术体系！
大模型任我行的博客
08-21 641
论文是一篇大语言模型（LLM）对齐技术综述，包括RLHF、RLAIF、PPO、DPO等方法，覆盖了完整的对齐技术体系，非常建议认真看一下原文。
2024年大模型Alignment偏好优化技术PPO,DPO, SimPO,KTO,Step-DPO, MCTS-DPO,SPO
zenRRan的博客
09-09 2489
知乎：是念链接：https://zhuanlan.zhihu.com/p/710021282学术分享，侵删今年做过一段时间的alignment工作，做得有点不开心，各种social的原因，觉得自己的发挥受到了限制，最近又闲下来了，所以看了一些相关的论文，但是对这个方向还是挺感兴趣的，这里来分享一下我对alignment的一些理解。对齐一般使用的是chat或者instruct模型，而不是base模型...
Nash Q-Learning算法
2403_87188256的博客
10-21 1230
Nash Q-Learning算法
LLM 对齐技术综述：RLHF、RLAIF、PPO 和 DPO 等
yorkhunter的博客
05-01 1111
24年7月来自 Salesforce 的论文"A Comprehensive Survey of LLM Alignment Techniques: RLHF, RLAIF, PPO, DPO and more"。 随着自监督学习的进步、预训练语料库中数万亿个 token 的出现、指令微调以及拥有数十亿参数的大型 Transformer 的开发，大语言模型 (LLM) 现已能够对人类查询生成真实且连贯的响应。然而，训练数据的质量参差不齐可能会导致生成不理想的响应，从而带来重大挑战。在过去的两年中，人们从不
LLM 研究方向(二): LLM Alignment--RLHF、DPO
天狼啸月1990的博客
07-10 1281
1. 视觉语言模型CLIP(Contrastive Language-Image Pretraining)，通过对比学习，将图像和文本嵌入到一个共同的特征空间中，使得相关联的图像和文本对pair在该空间中距离较近，而不相关的图像和文本对距离较远。{"text1": "生成的文本1", "text2": "生成的文本2", "preference": 1}, # preference=1表示text1更好。每次迭代过程中，model生成新的文本样本，收集人类反馈，更新奖励模型，然后通过RL微调语言模型。
《大规模语言模型从理论到实践》--强化学习（RLHF、PPO、DPO）
weixin_42264784的博客
10-08 1608
RLHF（Reinforcement Learning from Human Feedback）:强化学习（Reinforcement Learning）结合人类反馈（Human Feedback）来微调大语言模型。大语言模型的训练步骤包括：预训练、指令微调（SFT）、对齐。对齐（alignment）的含义是让 LLM 与人类的价值观保持一致。这就是 RLHF 的用武之地。智能体在环境中获取某个状态后，会根据该状态输出一个动作，也称为决策。
Efficient Knowledge Infusion via KG-LLM Alignment
weixin_43961909的博客
10-02 976
为了解决大型语言模型中特定领域知识匮乏的问题，知识图检索扩充方法被证明是一种有效的知识注入技术。然而，现有方法面临两个主要挑战:公共可用知识图和手头任务的特定领域之间的知识不匹配，以及LLM与知识图的信息一致性差。在本文中，我们利用一个小的标注样本集和一个大规模的语料库，通过LLM有效地构建特定领域的知识图，解决知识不匹配的问题。此外，我们提出了一个三阶段的KG-LLM对齐策略，以增强LLM利用知识图信息的能力。我们在两个生物医学问答数据集上进行了有限样本的实验，结果表明我们的方法优于现有的基线。
大模型学习笔记 - LLM 之RLHF人类对齐的简单总结
m0_37531129的博客
08-04 1673
LLM-人类对齐1. RLHF(Reinforcement Learning from Human Feedback, RLHF),基于人类反馈的强化学习2 奖励模型训练3 强化学习训练3.1 PPO介绍3.2 进阶的RLHF的介绍3.2.1. 过程监督奖励模型3.2.2. 基于AI反馈的强化学习3.2.3. 非强化学习的对齐方法4 关于SFT和RLHF的进一步讨论本篇完全参考大语言模型综述，学习完大模型学习笔记 - InstructGPT中的微调与对齐。
多代理强化学习MARL（MADDPG，Minimax-Q，Nash Q-Learning）
热门推荐
nakaizura
10-27 1万+
由于强化学习领域目前还有很多的问题，如数据利用率，收敛，调参玄学等，对于单个Agent的训练就已经很难了。但是在实际生活中单一代理所能做的事情还是太少了，而且按照群体的智慧，不考虑训练硬件和时长问题，使用多个agent同时进行学习，会不会有奇招呢？另外如果在需要multi-agent的场景下，如想要完成多人游戏的话，也必须要考虑到多代理的问题。 博弈论（game theory） 在单个agent...
实训商业源码-智能设备-论文模板.zip
最新发布
05-18
实训商业源码-智能设备-论文模板.zip
实训商业源码-智慧农场小程序 1.8.8+众筹1.1.0+拼团1.0.0+报名1.0.6-论文模板.zip
05-18
实训商业源码-智慧农场小程序 1.8.8+众筹1.1.0+拼团1.0.0+报名1.0.6-论文模板.zip
电力电子领域PCS储能变流器双向Buck Boost电池充放电Matlab仿真研究 PI控制 基于文献复现的双向Buck Boost储能变流器的Matlab仿真模型与电压电流双闭环PI控制分析
05-18
内容概要：本文详细探讨了基于文献复现的PCS储能变流器双向Buck Boost电池充放电过程的Matlab仿真模型。首先介绍了PCS储能变流器的重要性和双向Buck Boost技术的应用背景，特别是在可再生能源快速发展的背景下，储能系统的作用愈发关键。接着，文章描述了模型的具体构建方法，包括电池模型、PCS储能变流器模型和母线电压模型，并采用了电压电流双闭环PI控制策略。仿真过程分为三个阶段：0-0.1秒不充不放，0.1-0.3秒充电功率10KW，0.3-0.5秒放电功率15KW。重点讨论了LCL滤波器的效果及其对系统稳定性的影响。最后，提供了简单的Matlab代码片段用于设置仿真参数并运行模型。 适合人群：电力电子领域的研究人员和技术人员，尤其是对储能系统和PCS储能变流器感兴趣的读者。 使用场景及目标：适用于希望深入了解PCS储能变流器双向Buck Boost技术原理的研究人员，以及需要进行储能系统设计和优化的实际工程技术人员。目标是帮助他们掌握该技术的应用，提升系统性能和稳定性。 其他说明：文中提到的相关文献可以提供更多关于LCL滤波器和其他相关技术的详细信息，有助于进一步深入研究。
实训商业源码-智慧乡村社区V6.3.9+手机录入V1.0.1-论文模板.zip
05-18
实训商业源码-智慧乡村社区V6.3.9+手机录入V1.0.1-论文模板.zip
减速电机测试上位机软件
05-18
用于生产电机测试的上位机软件，有一定参考价值
a survey of llm
07-28
“LLM”是英文“Master of Laws”的缩写，意为法学硕士。LLM是一个广泛而多样化的学术专业，为法学专业人士提供进一步深化其知识和专业技能的机会。一个LLM的调查可以涉及以下几个方面。 首先，调查可能会涉及到LLM的专业设定和课程设置。不同的大学和法学院可能会开设不同的LLM课程，以满足不同学生的需求。调查可以聚焦于了解不同课程的设置，课程内容的多样性，专业发展的方向等。 其次，调查可能会探讨LLM的学习方式和学术要求。LLM通常为一年制的学位，学生需要在这段时间内完成一定数量的课程学习和研究。调查可以关注学生的学习负荷，研究和写作要求，以及任何其他相关的学术要求。 此外，调查还可以涵盖LLM学生的招生和国际化情况。国际学生通常会选择到不同国家的法学院攻读LLM学位。调查可能会关注学生的国籍分布，招生标准和程序，以及任何可能的国际交流和合作项目。 最后，调查可以探索LLM学位对毕业生职业发展的影响。LLM通常被视为提升法律职业生涯的一种方式，因为它提供了进一步深化法学知识和专业技能的机会。调查可以关注LLM毕业生的就业状况，薪资水平以及他们在不同法律领域中的职业发展。 总之，对LLM进行调查可以帮助我们了解这一专业的特点，帮助学生和教育机构更好地理解LLM的需求和发展方向，以及对法律职业的影响。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值