不懂强化学习基础也能看懂DPO训练过程

已于 2025-07-12 15:37:49 修改
阅读量829 收藏 12
点赞数 29
CC 4.0 BY-SA版权
文章标签： 人工智能 深度学习 语言模型 强化学习DPO
于 2025-07-10 17:40:02 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/susu_l_hx/article/details/149251892

        关于DPO 的介绍，我们经常能看的说法是： DPO 发现了一种数学变换，可以直接利用人类偏好数据来优化策略，而不需要显式地训练一个独立的奖励模型。它把奖励模型隐含地表达在了策略优化目标中。DPO 更简单、更稳定，效果常常媲美甚至超过 PPO+RM。只要准备好高质量三元组数据和基础模型，利用llama-factory这个开源工具就可以轻松启动DPO训练！

        但是关键信息“把奖励模型隐含地表达在了策略优化目标中”却很少有简单易懂的博文能讲明白。这里我们假设一个业务场景NL2SQL，我们的目标是希望通过微调大模型，让大模型能够理解业务领域中的库表结构和元数据，实现用户通过自然语言询问，模型生成高质量可执行的SQL语句。（NL2SQL这个业务场景挺常见的，虽然也可以通过RAG和Agent的方式实现，尤其是当业务问题比较简单，仅从几张大宽表就能解决的时候。但强化学习微调大模型确实是个提升准确率的有效手段）

1. DPO的训练过程

（1）数据集示例：

{
  "prompt": "统计2023年各部门销售额",
  "chosen": "SELECT d.dept_name, SUM(s.amount) FROM sales s JOIN departments d ON s.dept_id=d.id WHERE s.year=2023 GROUP BY d.dept_name",
  "rejected": "SELECT dept_name, SUM(amount) FROM sales WHERE year=2023" // 缺少JOIN导致结果错误
}

 （2）2个关键模型

  1. 待训练的策略模型 (π_θ)： 这就是我们想要训练好的最终模型。它接收用户prompt（自然语言问题），输出SQL语句。

  2. 参考模型 (π_ref)： 通常是一个微调过的基础模型（例如，用指令微调或SFT微调过的模型，使其初步理解SQL任务）。它代表了训练前的“基准行为”。在DPO中，它固定不变，用于提供“锚点”，防止模型偏离太远或走捷径。

    这里需要强调一下，这个模型兼具： 掌握基础SQL语法能力。理解业务领域特定的库表结构、元数据关系（最重要！）。初步建立自然语言问题到SQL结构的映射。

 （3）前向计算与反向迭代

假设我们现在只有那一条训练样本。

  1. 前向传播 (Forward Pass):

    • 将prompt (“统计2023年各部门销售额”) 同时输入给待训练模型 (π_θ) 和 参考模型 (π_ref)。

    • 模型的任务不是生成完整的SQL，而是计算给定输出序列（chosen SQL 和 rejected SQL）的概率（或更准确地说，对数似然）。

    • 计算：

      • π_θ(chosen | prom

最低0.47元/天 解锁文章

200万优质内容无限畅学
susu_l_hx
关注
什么是DPO训练
强化学习曾小健
06-28 3021
这个损失函数的目的是通过最小化损失 𝐿DPOLDPO​ 来优化目标策略 𝜋𝜃πθ​，使其在给定输入 𝑥x 的情况下，更倾向于产生较好的输出 𝑦𝑤yw​，而不是较差的输出 𝑦𝑙yl​。通过这种方式，可以逐步提高目标策略的质量。标签:大模型和强化学习总的来说，标量系数 𝛽β 提供了一种灵活的机制，可以根据具体需求调整损失函数的特性，从而更好地控制策略优化过程。这种调整不仅有助于提高模型的性能，还能在一定程度上保证训练过程的稳定性。GPT-4oPoe。
DPO作者新作｜From r to Q*
强化学习曾小健
05-26 1073
（这是进阶内容，不太关心理论的同学可跳过，主要解释原文常提及的bellman consistency啥意思，需要简单RL基础）首先我们把LLM建模成为一个MDP决策问题，每产生一个token是一步action，当下的state则是已经产生的所有token（前一半句子），产生T个token序列终止。这个episode中reward是稀疏的，只在最后一步得到:我们在这个MDP环境中用强行定义 函数和 函数。
【RLHF】直接偏好优化（Direct Preference Optimization, DPO）：基于偏好数据优化语言模型
彬彬侠的博客
06-15 811
直接偏好优化（DPO） 是一种高效、简单的 RLHF 替代方法，通过直接基于偏好数据优化语言模型，省去了奖励模型和强化学习步骤。DPO 将偏好对齐问题转化为分类任务，利用语言模型的隐式奖励函数，性能与 PPO 相当（如胜率 ~70%），但训练成本显著降低（单 GPU 数小时）。其简单性和稳定性使其适合快速开发和资源受限场景，但对偏好数据质量依赖较高，缺乏 PPO 的动态探索能力。DPO 的提出简化了 RLHF 流程，为大语言模型对齐提供了新范式，未来可与 RLAIF 等技术结合，进一步提升效率和扩展性。
GPT-4o微调SFT及强化学习DPO数据集构建
02-12 595
假设，已经标注的强化学习数据集df包含用户输入、首选输出、次选输出三列。假设，已经标注的训练数据集df包含了提示词、输入和输出三列。注意：强化学习DPO通常在微调SFT的模型上进行。
直接偏好优化（DPO）深度解析
最新发布
技术引领业务创新
06-25 856
摘要： 直接偏好优化（DPO）是一种革新性的大语言模型对齐技术，通过单阶段损失函数直接学习人类偏好，规避了RLHF（强化学习人类反馈）中奖励模型训练和PPO优化的复杂性。其核心优势包括： 1️⃣ 高效稳定：仅需1个模型和参考模型，显存占用低（如7B模型单卡可训），训练更平滑； 2️⃣ 性能平衡：在AlpacaEval测试中胜率提升10%，且保留长文本生成等能力； 3️⃣ 低成本应用：支持消费级GPU微调，适用于对话安全、代码生成等场景。 关键限制在于依赖高质量三元组数据（≥10k条），开源工具链（如Hugg
从0开始大模型之模型DPO训练
u012374012的专栏
04-10 898
具体公式推导可以参考这篇博客：https://www.cnblogs.com/lemonzhang/p/17910358.html。对话的偏好不是我们想要的答案，所以需要继续微调训练，这篇文章就介绍DPO。的代码和前面的一样，可以参考预训练的代码，如下就是初始化模型和。主要解决RLHF不稳定的问题，直接使用人类偏好数据训练模型。DPO的数据可以搜索huggingface的DPO数据集，格式的模型，如果想保存。prompt: 文本。chosen: 文本。
详解大模型PPO、DPO的训练过程
热门推荐
Antai_ZHU的博客
07-10 1万+
AI因你而升温，记得加个星标哦！大家好，我是泰哥。距离上次写技术贴已经1年有余，这一年当中算法技术的发展可以说是日新月异。今天和大家聊聊大模型的训练的三个阶段，分别为有监督学习（SFT）、奖励模型训练（RW）与强化学习（PPO）阶段，我对以上的训练过程会加上一些自己的理解。GPT使用Transformer decoder部分作为语言模型的框架，并将decoder中的Multi-head Attention层删除，其结构和计算过程如上图。
Direct Preference Optimization (DPO) 简介与流程解析：中英双语
阿正的梦工坊
12-26 1636
Compare the probability ratios between preferred and less preferred outputs. Optimize the model to increase probabilities for preferred outputs while limiting deviation from the reference model.
从零实现强化学习DPO（SimPO）训练代码
weixin_43013480的博客
08-27 4658
实验的话我们就只对DPO进行测试了。使用B站的Index-1___9B-Chat模型在HF上随便找了一个关于unsloth的数据集进行了一下测试，数据集如下：是一个关于unsloth的问答，jsonl格式，每行都有prompt、chosen、rejected字段。训练过程结果如下：loss下降还是可以的，测试了几个用例输出，相较之前回答会不一样，有一点点变好吧。因为我们只有50条数据，且DPO之类的强化学习主要是减少bad的输出，而不是学习新知识，故提升不大也在合理范围内。
72B模型DPO微调 | DPO的大模型的技术点、DPO的核心思想
Androiddddd的博客
12-20 1974
在。
大模型相关基础知识学习
qq_52234528的博客
06-07 1724
学习大模型的笔记
学习记录（2）：大模型二次开发基本思路
yyyyyy3802的博客
07-24 1232
(Continue PreTraining)增量预训练在大模型整个流程中，增量预训练是属于后期预训练（Post-pretraining）的范畴。Post-pretraining（后期预训练）是一种在模型的初始预训练和最终微调之间进行的训练方法。这种方法通常用于进一步适应模型以处理特定类型的数据或任务。以下是详细介绍，参考了之前对SFT和RLHF的描述方式：1、后期预训练（Post-pretraining）Post-pretraining是在通用预训练模型的基础上。
一行指令运行DPO
xiezhipu的博客
04-03 53
通过trl官网可知，我们只需要一行指令，便可调用trl库执行一个DPO训练的任务。但是咱还是得亲自试一下才安心，不是吗？顺便看看有没有什么坑。
万字长文搞懂LLM大模型技术原理！
强化学习曾小健
11-24 1100
本文从Llama 3报告出发，基本整理一些现代LLM的技术。'基本'，是说对一些具体细节不会过于详尽，而是希望得到一篇相对全面，包括预训练，后训练，推理，又能介绍清楚一些具体技术，例如RM，DPO，KV Cache，GQA，PagedAttention，Data Parallelism等等的索引向文章。由于东西比较多，且无法详尽细节，所以推荐大家二次整理为自己的笔记。本文的主要参考是Llama Team的The Llama 3 Herd of Models报告原文，以及沐神回归B站新出的论文精读系列。同时也
DPO: Direct Preference Optimization 介绍
健康工作每一天
09-14 2554
DPO 是 RLHF 的屌丝版本，RLHF 需要加载 4 个模型（2个推理，2个训练），DPO 只需要加载 2 个模型（1个推理，一个训练）。
【大模型学习】使用DPO技术对大模型Qwen2进行微调
weixin_44463519的博客
08-12 2083
你需要配置 DPO 的训练参数，包括模型配置、训练设置等。3、数据格式：将数据处理为 DPO 所需的格式。通常，DPO 需要一个包含对话对和相应偏好标签的数据集。根据单轮对话和多轮对话的需求，你需要选择合适的数据集，并将其处理为 DPO 所需的格式。1、选择数据集：lvwerra/stack-exchange-paired。创建 DPO 训练器。
DPO：直接偏好优化简化语言模型的偏好训练
人工智能讲师分享前沿技术
09-06 851
人工智能咨询培训老师叶梓 转载标明出处如何精确控制大规模无监督语言模型（LMs）的行为一直是一个挑战。这些模型虽然通过大量数据学习到了广泛的世界知识和一些推理技能，但由于其训练的无监督性质，使得它们的行为难以精确控制。现有的方法通过收集人类对模型生成内容的相对质量标签，然后通过人类反馈的强化学习（Reinforcement Learning from Human Feedback, RLHF）对无监督LM进行微调，以使其行为与这些偏好对齐。
DPO: Direct Preference Optimization 直接偏好优化（学习笔记）
u012374012的专栏
04-28 1302
步骤2）在于优化，具体过程大概是，对于同一个question prompt，模型在两种模型：language/policy model 和 reference model下分别生成，对应chosen 和 rejected label真值标签的生成概率，因此可以获得四种概率值：policy_chosen_logps, policy_rejected_logps, reference_chosen_logps, reference_rejected_logps, 用于DPO loss计算。
LLM —— 强化学习（RLHF-PPO和DPO）学习笔记
STAR GAME
08-28 4115
LLM中强化学习 RLHF部分学习
DPO 强化学习
03-11
### Distributed Private Optimization in Reinforcement Learning Implementation and Application In the context of distributed private optimization (DPO), this approach aims at optimizing a global objective function while ensuring privacy preservation across multiple agents or nodes within a network. In reinforcement learning, DPO can be particularly beneficial when dealing with multi-agent systems where each agent has its own local data but contributes towards achieving a common goal without revealing sensitive information about individual contributions. The core idea behind implementing DPO in reinforcement learning involves coordinating actions between different entities through sparse interactions that minimize direct communication overheads[^1]. This method allows for efficient collaboration among agents by focusing on interdependencies rather than requiring constant updates from all participants simultaneously. To achieve coordination under such constraints, algorithms like federated learning techniques are employed which enable decentralized training processes over networks composed of numerous devices holding potentially heterogeneous datasets locally. These methods ensure model parameters converge toward optimal solutions collectively despite limited exchange of knowledge during runtime operations. For practical applications involving DPO in RL settings: - **Privacy-Preserving Multi-Agent Systems**: Ensures secure cooperation amongst autonomous vehicles navigating urban environments collaboratively. - **Federated Deep Q-Networks (FDQN)**: Combines principles of both FL and DRL allowing robots operating independently yet sharing experiences indirectly via aggregated policy gradients periodically exchanged after sufficient exploration phases have occurred individually first before synchronization takes place again later down line as part ongoing iterative refinement cycles until convergence reached eventually leading up final trained neural net architecture capable performing desired tasks effectively enough meet performance criteria set forth initially project outset stage itself indeed. ```python import numpy as np from fedavg import FederatedAveraging class DPORLAgent: def __init__(self, env, id): self.env = env self.id = id # Initialize other necessary components here def train(self, episodes=1000): for episode in range(episodes): state = self.env.reset() done = False while not done: action = self.choose_action(state) next_state, reward, done, _ = self.env.step(action) # Perform experience replay using local buffer only if condition_to_sync(): params = gather_params_from_all_agents() # Sparse interaction point updated_params = FederatedAveraging(params).update_weights() distribute_updated_parameters(updated_params) state = next_state ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值