强化学习之PPO原理与源码解读

已于 2025-10-14 13:32:01 修改
阅读量237 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： 大模型笔记 强化学习 文章标签： 大模型
于 2025-02-19 19:28:58 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/comli_cn/article/details/145728331

图解大模型RLHF系列之：人人都能看懂的PPO原理与源码解读

本文直接从一个RLHF开源项目源码入手（deepspeed-chat），根据源码的实现细节，给出尽可能丰富的训练流程图，并对所有的公式给出直观的解释。希望可以帮助大家更具象地感受RLHF的训练流程。关于RLHF，各家的开源代码间都会有一些差异，同时也不止PPO一种RLHF方式。

1.强化学习概述

1.1 强化学习整体流程

在这里插入图片描述
强化学习的两个实体：智能体（Agent）与环境（Environment）

强化学习中两个实体的交互：

  • 状态空间S：S即为State，指环境中所有可能状态的集合
  • 动作空间A：A即为Action，指智能体所有可能动作的集合
  • 奖励R：R即为Reward，指智能体在环境的某一状态下所获得的奖励。

以上图为例，智能体与环境的交互过程如下：

  • 在
了解本专栏 订阅专栏 解锁全文 超级会员免费看
PPO原理与代码实例讲解
AGI×大数据，开启智能时代的认知跃迁；解码AGI，赋能数据驱动的智能革命。
07-17 226
PPO原理与代码实例讲解 1. 背景介绍 1.1 问题的由来 在深度强化学习领域，策略梯度方法是一种常用的学习算法，它通过更新策略参数来优化策略的性能。PPO（Proximal Policy Optim
图解大模型RLHF系列之：人人都能看懂的PPO原理与源码解读
强化学习曾小健
04-25 4348
智能体（Agent）与环境（Environment）状态空间S：S即为State，指环境中所有可能状态的集合动作空间A：A即为Action，指智能体所有可能动作的集合奖励R：R即为Reward，指智能体在环境的某一状态下所获得的奖励。以上图为例，智能体与环境的交互过程如下：在时刻，环境的状态为，达到这一状态所获得的奖励为智能体观测到与，采取相应动作智能体采取后，环境状态变为，得到相应的奖励找到一个策略，这个策略根据当前观测到的环境状态和奖励反馈，来选择最佳的动作。
PyTorch实现PPO代码
热门推荐
weixin_45526117的博客
08-28 1万+
actor网络即策略网络，输入state，输出action概率，使用Categorical生成动作分布。critic网络即值网络，输入state，输出state-value。（4）更新估计状态值函数得到critic loss。（2）获取每个mini batch更新后的新策略。（3）执行clip操作得到actor loss。（1）计算GAE优势函数。（5）反向传播更新参数。......
人人都能看懂的PPO原理与源码解读
zenRRan的博客
02-09 3454
来自：大猿搬砖简记大家好，最近我又读了读RLHF的相关paper和一些开源实践，有了一些心得体会，整理成这篇文章。过去在RLHF的初学阶段，有一个问题最直接地困惑着我：如何在NLP语境下理解强化学习的框架？例如，我知道强化学习中有Agent、Environment、Reward、State等要素，但是在NLP语境中，它们指什么？语言模型又是如何根据奖励做更新的？为了解答这个问题，我翻阅了很多资料，...
Stable-Baselines 3 部分源代码解读 3 ppo.py
m0_48948682的博客
02-22 5089
阅读PPO相关的源码，了解一下标准库是如何建立PPO算法以及各种tricks的，以便于自己的复现。在Pycharm里面一直跳转，可以看到PPO类是最终继承于基类，也就是这个py文件的内容。所以阅读源码就先从这里开始。: )
强化学习—PPO代码实现及个人详解5（python）
weixin_70267340的博客
04-07 3844
PPO算法的定义环境、设置参数部分
RLHF：PPO原理与源码解读
stephen147的博客
06-28 1516
智能体（Agent）与环境（Environment）状态空间S：S即为State，指环境中所有可能状态的集合动作空间A：A即为Action，指智能体所有可能动作的集合奖励R：R即为Reward，指智能体在环境的某一状态下所获得的奖励。以上图为例，智能体与环境的交互过程如下：在时刻，环境的状态为，达到这一状态所获得的奖励为智能体观测到与，采取相应动作智能体采取后，环境状态变为，得到相应的奖励找到一个策略，这个策略根据当前观测到的环境状态和奖励反馈，来选择最佳的动作。
图解大模型RLHF系列：人人都能看懂的PPO原理与源码解读
强化学习曾小健
05-21 1181
智能体（Agent）与环境（Environment）状态空间S：S即为State，指环境中所有可能状态的集合动作空间A：A即为Action，指智能体所有可能动作的集合奖励R：R即为Reward，指智能体在环境的某一状态下所获得的奖励。以上图为例，智能体与环境的交互过程如下：在时刻，环境的状态为，达到这一状态所获得的奖励为智能体观测到与，采取相应动作智能体采取后，环境状态变为，得到相应的奖励找到一个策略，这个策略根据当前观测到的环境状态和奖励反馈，来选择最佳的动作。
PPO(Proximal Policy Optimization) 原理与代码实例讲解
AI大模型应用之禅
07-13 1672
强化学习（Reinforcement Learning, RL）是人工智能领域的一个分支，主要研究智能体（agent）如何在环境中通过与环境交互来学习最优行为策略。在许多应用中，如机器人控制、游戏、自动驾驶和推荐系统，都需要智能体能够根据环境反馈自主做出决策。强化学习算法根据是否利用历史经验进行更新，分为值基方法（Value-based Methods）和策略基方法（Policy-based Methods）。
大模型RLHF：PPO原理与源码解读
AI前沿技术的分享！
02-12 1673
智能体（Agent）与环境（Environment）强化学习中两个实体的交互：状态空间S：S即为State，指环境中所有可能状态的集合动作空间A：A即为Action，指智能体所有可能动作的集合奖励R**：** R即为Reward，指智能体在环境的某一状态下所获得的奖励。以上图为例，智能体与环境的交互过程如下：在t时刻，环境的状态为StS_{t}St​，达到这一状态所获得的奖励为RtR_{t}Rt​智能体观测到StS_{t}St​与RtR_{t}Rt​，采取相应动作。
深度强化学习PPO算法(python)
08-23
基于Tensorflow实现的PPO算法，依赖库：tensorflow-1.4及以上，gym
PPO
03-04
PPO
PyRL:PyRL-Pytorch中的强化学习框架（政策梯度，DQN，DDPG，TD3，PPO，SAC等）
05-03
PyRL-Pytorch中的强化学习框架 PyRL是深度强化学习研究的框架。 在PyTorch中实现了以下算法： （在制品） （WIP） （在制品） 该项目仍在积极开发中。 特征 模块化架构 在PyTorch中实现 可读代码 安装 git clone https://github.com/chaovven/pyrl.git pip3 install -r requirements.txt 我强烈建议使用conda环境进行实验。 其中一些示例使用MuJoCo物理模拟器。 有关设置MuJoCo的说明，请参见。 进行实验 示例1： TD3 python3 main.py --alg=td3 with env=InvertedPendulum-v2 默认参数存储在config/default.yaml ，其中所有实验都共享这些参数。 TD3的参数存储在文件config/algs
DRL基础（十二）——近端策略优化算法PPO【附代码】
二向箔
09-14 1969
2016年10月OpenAI公司发布了《Dota2》强化学习游戏智能体OpenAI Five，并且经过多年的开发训练后战胜了当时的世界冠军团队OG，技术细节可以看发表的论文。OpenAI Five的核心算法是PPO，一种称为近端策略优化的算法，属于策略梯度算法的一种。OpenAI Five和PPO的成功大大增加了AI研究者对强化学习解决复杂问题的信心，PPO也成为使用强化学习解决各类问题的一个基准算法。 PPO属于策略梯度算法，即通过求解强化学习问题中目标函数的梯度，利用梯度提升的方法训练强化学习智能体。这
PPO算法源码解读
最新发布
qq_43588095的博客
03-28 459
命令行传入 webui train对应，文件中搜索train找到TRAIN对应方法点击查询“PPO”，点击run_ppo()点击ref_model可以看到ref_model有过二次加载继续找ref_model点击CustomPPOTrainer主要步骤在step方法里，搜索step(PPO 的 Step 方法指其训练流程中的核心步骤，通过 策略交互、优势估计、策略优化 实现稳定学习。对于第五步，trainer.py有第四个模型：：通过训练参数（如。
强化学习之PPO源码阅读
loxs
03-09 1835
Stable-Baselines3 中的 PPO 通过裁剪目标函数（Clipping Objective）来稳定策略更新，并使用KL 散度早停（KL Divergence Early Stopping）机制避免策略崩溃。限制策略变化幅度，提高训练稳定性。优势估计（GAE-Lambda），减少方差，提高采样效率。熵奖励，鼓励探索，防止策略过早收敛。梯度裁剪，防止梯度爆炸，提高训练稳定性。在实践中，PPO 适用于大规模连续/离散动作空间任务，并且在机器人控制、游戏 AI、金融交易等场景中广泛应用。
强化学习代码实现PPO
wlxsp的博客
12-24 502
梯度更新：通过截断（clipping）限制策略更新幅度，避免策略变化过大影响稳定性。首先是数据预处理，将相关数据（状态、采取的动作、状态奖励、下一个状态）放到gpu上。根据当前状态 state，利用策略网络生成每个动作的概率分布 probs。2. 修改了策略模型的输出，从每个动作的概率分布变成了动作的均值和方差。1. 修改了动作空间，离散空间变成了连续空间，使用正太分布来采样。3. 修改了动作的ratio的计算，从离散分布变成了正太分布计算。Update函数：通过经验缓冲数据来优化策略模型和价值模型。
【深度强化学习】PPO：近端策略优化——从理论讲解到源码解析
qq_50001789的博客
01-18 1969
PPO算法是一种强化学习算法，用于解决策略优化问题。它通过引入一个重要性采样的约束，确保在更新策略时，新的策略与旧策略的差异不会过大，从而避免过度优化带来的不稳定性。PPO通过目标函数中的剪切操作来限制策略更新的幅度，使得策略更新既能进行有效探索，又不会导致性能剧烈波动。该算法的优点在于其实现简单、样本效率高、且在多种任务中表现稳定。PPO常用于强化学习中的连续控制任务，并已被广泛应用于机器人控制、自动驾驶等领域。与传统的强化学习方法相比，PPO避免了复杂的超参数调节，具有较强的鲁棒性。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

comli_cn

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值