大语言模型-RLHF(四)-PPO（Proximal Policy Optimization）原理&实现&代码逐行注释

原创 已于 2023-08-18 14:19:05 修改 · 2.1k 阅读 · 10 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#算法 #机器学习 #人工智能 #AIGC

于 2023-08-01 20:01:44 首次发布
本文介绍了PPO算法的核心原理，包括策略梯度、OnPolicy与OffPolicy的区别、重要性采样和自适应KL散度惩罚，展示了如何通过ClippedSurrogateObjective解决约束问题，以及提供了一个GitHub代码示例用于实践。

 前言

从open AI 的论文可以看到，大语言模型的优化，分下面三个步骤，SFT，RM，PPO，我们跟随大神的步伐，来学习一下这三个步骤和代码实现，本章介绍PPO原理

要搞明白PPO首先需要搞明白下面几个概念

一，策略梯度（Policy Gradient）

策略梯度（Policy Gradient）是一种用于强化学习中的策略优化方法，其核心思想是直接优化策略函数。策略函数可以理解为一个神经网络π(a∣s)，描述的是在给定状态s下，采取不同动作a的概率分布。θ可以理解为策略神经网络π(a∣s)的参数，我们需要优化的就是这个θ，策略梯度的公式如下：

\nabla_{\theta} J(\theta) = E_{\tau \sim p_{\theta}(\tau)}[\sum_{t=0}^T \nabla_{\theta} \log \pi_{\theta}(a_t|s_t) A_t]

通常使用梯度上升法来更新策略函数θ，使其能够最大化期望回报。

我们改写一下θ的更新公式如： 

最低0.47元/天 解锁文章
RLHF中的PPO算法原理及其实现
夏栀的博客
05-22 6586
ChatGPT是基于InstructGPT实现的多轮对话生成式大模型。博主在之前的文章中已经介绍过关于）以及关于。那么除了如何训练一个基本的生成式模型外，大模型还需要关注于。在之前的文章中已经介绍了ChatGPT以及最近开源的一些类ChatGPT模型是如何实现对齐的，这里我们也详细介绍一下InstructGPT中进行人类对齐的核心算法——RLHF（人类对齐的强化学习）PPO算法。
【人工智能大模型】一文彻底讲透——什么是 PPO（Proximal Policy Optimization，近端策略优化）？
热门推荐
AI天才研究院
04-03 2万+
提出了一系列用于强化学习的新策略梯度方法，它们通过与环境的交互在采样数据和使用随机梯度上升优化“代理”目标函数之间交替。鉴于标准策略梯度方法对每个数据样本执行一次梯度更新，我们提出了一种新的目标函数，可以实现多个时期的小批量更新。我们称之为近端策略优化 (PPO) 的新方法具有信赖域策略优化 (TRPO) 的一些优点，但它们实施起来更简单、更通用，并且具有更好的样本复杂性（根据经验）。
大语言模型-RLHF(五)-PPO（Proximal Policy Optimization）原理&实现&代码逐行注释-论文导读
qjzcy的博客
08-05 1261
从open AI 的论文可以看到，大语言模型的优化，分下面三个步骤，SFT，RM，PPO，我们跟随大神的步伐，来学习一下这三个步骤和代码实现，本章介绍PPO论文。
RLHF 中 PPO、GRPO 和 DPO 的 Epoch 与 Batch 概念
最新发布
yangmin3100的博客
10-24 756
RLHF 中 PPO、GRPO 和 DPO 的 epoch/batch 概念对比 PPO、GRPO 和 DPO 在 RLHF 训练中均采用 epoch 和 batch 机制，但数据来源和使用方式不同： PPO（on-policy）：每轮生成新数据，训练3-5个epoch后丢弃，需持续生成样本 DPO（监督学习）：固定偏好数据，像普通监督学习一样多轮训练 GRPO（off-policy）：使用静态分组数据，可离线多轮训练 关键差异： PPO数据动态更新，DPO/GRPO使用固定数据 PPO训练epoch较少，
人人都能看懂的PPO原理与源码解读
zenRRan的博客
02-09 3411
来自：大猿搬砖简记大家好，最近我又读了读RLHF的相关paper和一些开源实践，有了一些心得体会，整理成这篇文章。过去在RLHF的初学阶段，有一个问题最直接地困惑着我：如何在NLP语境下理解强化学习的框架？例如，我知道强化学习中有Agent、Environment、Reward、State等要素，但是在NLP语境中，它们指什么？语言模型又是如何根据奖励做更新的？为了解答这个问题，我翻阅了很多资料，...
大模型入门（七）—— RLHF中的PPO算法理解
DAMOXINGHAITAI的博客
09-11 2192
本文主要是结合PPO在大模型中RLHF微调中的应用来理解PPO算法。
大语言模型-RLHF(七)-PPO实践（Proximal Policy Optimization）原理&实现&代码逐行注释
qjzcy的博客
08-15 1147
这里涉及到两个问题，一个是如何扩展Context长度，一个是如何让llm模型只在指定Context内回答问题。今天我们ppo优化主要解决llm模型只在指定Context内回答问题。
大语言模型-RLHF(六)-PPO（Proximal Policy Optimization）原理&实现&代码逐行注释
qjzcy的博客
08-05 2537
从open AI 的论文可以看到，大语言模型的优化，分下面三个步骤，SFT，RM，PPO，我们跟随大神的步伐，来学习一下这三个步骤和代码实现，本章介绍PPO代码实现。
LLM - 理解 多模态大语言模型(MLLM) 的 对齐微调(Alignment) 与相关技术 (五)
AGI
09-19 2003
对齐微调 (Alignment Tuning)，通常用于需要将模型与特定人类偏好对齐的场景中，例如，在响应中包含更少的幻觉。目前，基于人类反馈的强化学习(Reinforcement Learning with Human Feedback, RLHF) 和 直接偏好优化(Direct Preference Optimization, DPO) 是对齐微调的两种主要技术。依次介绍这两种技术的主要思想，提供用于解决实际问题的示例，最后，给出相关数据集的汇总。
大模型+强化学习（PPO算法、RLHF、DPO技术）
Java_rich的博客
11-12 6831
大模型是人工智能领域的重要突破，代表了机器学习模型向更大规模、更强能力发展的趋势。这些模型通常具有。
LLM大模型入门（七）—— RLHF中的PPO算法理解
瓦罗兰特顶级C位的博客
07-09 1865
本文主要是结合PPO在大模型中RLHF微调中的应用来理解PPO算法。
拆解大语言模型RLHF中的PPO算法
zenRRan的博客
12-14 1380
来自：PaperWeekly©作者 |陶然单位 |字节跳动研究方向 |NLP、大语言模型为什么大多数介绍大语言模型 RLHF 的文章，一讲到 PPO 算法的细节就戛然而止了呢？要么直接略过，要么就只扔出一个 PPO 的链接。然而 LLM x PPO 跟传统的 PPO 还是有些不同的呀。其实在 ChatGPT 推出后的相当一段时间内，我一直在等一篇能给我讲得明明白白的文章，但是一直未能如愿。我...
大语言模型原理与工程实践：PPO 算法
AI天才研究院
05-23 667
大语言模型原理与工程实践：PPO 算法 作者：禅与计算机程序设计艺术 1. 背景介绍 1.1 大语言模型的崛起 近年来，随着深度学习技术的飞速发展，大语言模型（Large Language Model, LLM）凭借其
大规模语言模型人类反馈对齐--近端策略优化PPO
Hanscal
10-15 690
近端策略优化算法 (Proximal Policy Optimization，PPO) 即属于 AC 框架下的算法， 在采样策略梯度算法训练 方法的同时， 重复利用历史采样的数据进行网络参数更新， 提升了策略梯度方法的学习效率。实际计算时， 需 要从环境中采样很多轨迹 τ ，然后按照上述策略梯度公式 (或者添加各种可能优化) 对策略函数参数 θ 进行更新。
大模型入门：RLHF中的PPO算法理解_rlhf ppo
HUANGXIN9898的博客
02-27 1302
环境的状态S：t时刻环境的状态 S _ t S\_{t} S_t是环境状态集中某一个状态，以RLHF中为例，序列 w 1 , w 2 , w 3 w1,w2,w3 w1,w2,w3是当前的状态。个体的动作A：t时刻个体采取的动作 A _ t A\_{t} A_t，给定序列 w 1 , w 2 , w 3 w1,w2,w3 w1,w2,w3，此时得到 w 4 w4 w4，得到 w 4 w4 w4就是执行的一次动作。
大模型入门：RLHF中的PPO算法理解
2401_86154451的博客
07-24 1520
2）在准备好SFT模型和Reward模型后，一般来说是以SFT模型初始话Actor（策略模型），Ref（用于约束策略模型的参数变化量），Critic（价值模型），Reward（对策略的执行反馈即时的奖励）4个模型，Ref和Reward代表着环境对Actor的奖励或约束，参数是不会更新的，而Actor和Critic是会迭代优化的。如上面的例子中，在状态。蒙特卡洛因为采样了完整的序列，能更精准的估计奖励值，可以认为是无偏的估计，但因为序列越长，序列之间的差异越大，会产生较大的方差，导致收敛很慢；
评论 2
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值