【深度强化学习】(6) PPO 模型解析，附Pytorch完整代码

最新推荐文章于 2025-11-09 15:50:53 发布
原创 最新推荐文章于 2025-11-09 15:50:53 发布 · 5.3w 阅读 · 579 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#pytorch #深度学习 #python #强化学习 #深度强化学习

大家好，今天和各位分享一下深度强化学习中的近端策略优化算法（proximal policy optimization，PPO），并借助 OpenAI 的 gym 环境完成一个小案例，完整代码可以从我的 GitHub 中获得：

https://github.com/LiSir-HIT/Reinforcement-Learning/tree/main/Model

1. 算法原理

PPO 算法之所以被提出，根本原因在于 Policy Gradient 在处理连续动作空间时 Learning rate 取值抉择困难。Learning rate 取值过小，就会导致深度强化学习收敛性较差，陷入完不成训练的局面，取值过大则导致新旧策略迭代时数据不一致，造成学习波动较大或局部震荡。除此之外，Policy Gradient 因为在线学习的性质，进行迭代策略时原先的采样数据无法被重复利用，每次迭代都需要重新采样；

同样地置信域策略梯度算法（Trust Region Policy Optimization，TRPO）虽然利用重要性采样（Important-sampling）、共轭梯度法求解提升了样本效率、训练速率等，但在处理函数的二阶近似时会面临计算量过大，以及实现过程复杂、兼容性差等缺陷。 

PPO 算法具备 Policy Gradient、TRPO 的部分优点，采样数据和使用随机梯度上升方法优化代替目标函数之间交替进行，虽然标准的策略梯度方法对每个数据样本执行一次梯度更新，但 PPO 提出新目标函数，可以实现小批量更新。

鉴于上述问题，该算法在迭代更新时，观察当前策略在 t 时刻智能体处于状态 s 所采取的行为概率\pi (a_t |s_t)，与之前策略所采取行为概率 \pi_{\theta old} (a_t | s_t)，计算概率的比值来控制新策略更新幅度，比值 r_t 记作：

r_t(\theta) = \frac{\pi _{\theta}(a_t|s_t)}{\pi_{\theta old}(a_t|s_t)}

若新旧策略差异明显且优势函数较大，则适当增加更新幅度；若 r_t 比值越接近 1，表明新旧策略差异越小。

优势函数代表，在状态 s 下，行为 a 相对于均值的偏差。在论文中，优势函数 \hat{A}_t 使用 GAE（generalized advantage estimation）来计算：

\hat{A}_t^{GAE(\gamma, \lambda)} = \sum_{l=0}^{\bowtie } (\gamma \lambda )^l \delta _{t+l} ^ V

最低0.47元/天 解锁文章
深度学习之近端策略优化（Proximal Policy Optimization，PPO）
JustinMars的博客
06-25 1036
深度学习中的PPO（Proximal Policy Optimization，近端策略优化）是一种强化学习算法。PPO是由OpenAI提出的，它在解决许多复杂任务（如游戏AI和机器人控制）方面取得了很好的效果。
【人工智能大模型】一文彻底讲透——什么是 PPO（Proximal Policy Optimization，近端策略优化）？
04-03 2万+
提出了一系列用于强化学习的新策略梯度方法，它们通过与环境的交互在采样数据和使用随机梯度上升优化“代理”目标函数之间交替。鉴于标准策略梯度方法对每个数据样本执行一次梯度更新，我们提出了一种新的目标函数，可以实现多个时期的小批量更新。我们称之为近端策略优化 (PPO) 的新方法具有信赖域策略优化 (TRPO) 的一些优点，但它们实施起来更简单、更通用，并且具有更好的样本复杂性（根据经验）。
强化学习基于PPO算法的策略优化模型：原理、代码实现与多领域应用系统解析
09-12
内容概要：本文全面解析了近端策略优化（PPO）强化学习算法的核心原理、算法流程、Python代码实现及典型应用案例。文章首先介绍强化学习和PPO的背景，指出传统策略梯度方法存在的训练不稳定和样本利用率低等问题，并引出PPO通过裁剪代理目标函数、重要性采样和广义优势估计（GAE）等机制有效解决了这些难题。随后详细阐述PPO的数学原理与目标函数设计，结合Actor-Critic架构的伪代码和具体步骤说明其数据收集、优势计算与策略优化过程。配套的Python实现基于PyTorch和Gym环境，展示了从模型定义、数据采集到策略更新的完整流程。最后通过Dota 2、机器人控制和ChatGPT等实际案例，体现PPO在复杂任务中的广泛应用，并讨论其局限性及改进方向如PPO-Adaptive、POP和Meta-PPO等。; 适合人群：具备一定机器学习基础，熟悉Python编程和深度学习框架（如PyTorch）的高校学生、研究人员及从事AI算法开发的工程师，尤其适合希望深入理解强化学习算法原理并动手实践的技术人员； 使用场景及目标：①掌握PPO算法的核心思想与数学推导，理解其相较于传统策略梯度方法的优势；②通过完整代码实现，学习如何构建Actor-Critic网络、计算GAE优势、执行裁剪目标函数优化；③应用于游戏AI、机器人控制、自然语言处理等领域的策略优化任务，提升模型训练稳定性与样本效率； 阅读建议：建议读者结合代码逐段调试运行，重点关注重要性采样比、裁剪机制和优势估计的实现逻辑，同时尝试调整超参数（如ε、γ、λ）观察训练效果变化，并可扩展至其他Gym环境进行实战验证，以深化对算法行为的理解。
一文理解 PPO 的核心机制与大模型中的应用
和大家一起涨芝士
09-06 983
随着大模型能力不断提升，单纯依赖监督微调难以满足复杂的人类偏好需求。强化学习，尤其是 PPO（Proximal Policy Optimization），成为调优模型生成行为、提升输出质量和对齐性的关键技术。
PPO介绍和代码示例
最新发布
嵌入式之斋
11-09 351
PPO（Proximal Policy Optimization）是一种强化学习算法，属于策略梯度方法的改进版。它旨在提高策略更新的稳定性和效率。PPO 是 OpenAI 提出的，广泛应用于各种强化学习任务，尤其是在复杂环境中表现出色。PPO 算法通过引入剪切目标函数，能够有效地提高策略更新的稳定性和样本效率。上述示例展示了如何在简单的网格环境中实现 PPO 算法，可以根据需要扩展到更复杂的环境和任务中。
详解大模型PPO、DPO的训练过程
Antai_ZHU的博客
07-10 1万+
AI因你而升温，记得加个星标哦！大家好，我是泰哥。距离上次写技术贴已经1年有余，这一年当中算法技术的发展可以说是日新月异。今天和大家聊聊大模型的训练的三个阶段，分别为有监督学习（SFT）、奖励模型训练（RW）与强化学习（PPO）阶段，我对以上的训练过程会加上一些自己的理解。GPT使用Transformer decoder部分作为语言模型的框架，并将decoder中的Multi-head Attention层删除，其结构和计算过程如上图。
进阶篇---PPO代码逐行分析
qq_37395293的博客
03-01 9066
进阶篇—PPO代码逐行分析 一、TRPO、PPO、DPPO PG （Policy gradient） 最常用的策略梯度估计其表达形式如下 TRPO（Trust Region Policy Optimization） 这是一种具有单调递增性质的PG算法，构造了一个带有约束的目标函数 在对目标进行线性近似并对约束进行二次近似后，可以使用共轭梯度算法有效地解决该问题。。 PPO（Proximal Policy Optimization） DPPO（Distributed Proximal Policy Opt
深度强化学习PPO算法(python)
08-23
基于Tensorflow实现的PPO算法，依赖库：tensorflow-1.4及以上，gym
PyTorch实现PPO代码
weixin_45526117的博客
08-28 1万+
actor网络即策略网络，输入state，输出action概率，使用Categorical生成动作分布。critic网络即值网络，输入state，输出state-value。（4）更新估计状态值函数得到critic loss。（2）获取每个mini batch更新后的新策略。（3）执行clip操作得到actor loss。（1）计算GAE优势函数。（5）反向传播更新参数。......
强化学习PPO算法逻辑剖析，基于PyTorch实现PPO算法
lrj41781196的博客
05-03 1165
1. 数据收集：使用当前策略与环境交互，收集轨迹数据2. 优势估计：计算每个状态动作对的GAE优势值3. 策略评估：计算旧策略的动作概率 \( \pi_{\theta_{\text{old}}}(a|s) \)4. 多轮更新：对采样的数据执行多次小批量更新（通常4-10次）5. 策略改进：通过Clipped目标函数优化策略和值函数。
【深度强化学习】(8) iPPO 模型解析，附Pytorch完整代码
博观而约取，厚积而薄发
03-18 1万+
IPPO（Independent PPO）是一种完全去中心化的算法，此类算法被称为独立学习。由于对于每个智能体使用单智能体算法 PPO 进行训练，所因此这个算法叫作独立 PPO算法。 这里使用的 PPO 算法版本为 PPO-截断
pytorch-lunarlander：在月球着陆器中，实现ppo算法
02-18
pytorch-lunarlander：在月球着陆器中，实现ppo算法
超级马里奥兄弟PPO-pytorch：超级马里奥兄弟的近距离策略优化（PPO）算法
02-05
[PYTORCH]玩超级马里奥兄弟的近战策略优化（PPO） 介绍 这是我的python源代码，用于训练特工玩超级马里奥兄弟。 通过使用纸张近端策略优化算法推出近端政策优化（PPO）算法。 说到性能，我经过PPO培训的代理可以完成29/32个级别，这比我一开始的预期要好得多。 供您参考，PPO是OpenAI提出的算法，用于训练OpenAI Five，这是第一款在电竞游戏中击败世界冠军的AI。 具体而言，OpenAI五人队在2018年8月派出了一支由MMR排名的脚轮和前职业球员组成的团队，在Dota 2玩家的99.95％中排名。 样品结果 动机 自从我发布我的A3C实现（ ）
《深度强化学习实战》随书代码
05-07
【《深度强化学习实战》随书代码】’Code from the Deep Reinforcement Learning in Action book from Manning, Inc'
PyTorch强化学习算法实现：PPO、DQN、SAC、DDPG等源码解析与改进
10-26
本文聚焦于深度强化学习领域中若干关键算法的PyTorch实现，涵盖PPO、DQN、SAC与DDPG等模型。研究重点集中于PPO与DQN系列算法的理论改进及工程实践，依据相关学术文献对算法结构进行了多维度优化：针对PPO算法，实现...
PPO算法（附pytorch代码）
热门推荐
qq_45889056的博客
04-21 5万+
PPO算法是一种强化学习中的策略梯度方法，它的全称是Proximal Policy Optimization，即近端策略优化1。PPO算法的目标是在与环境交互采样数据后，使用随机梯度上升优化一个“替代”目标函数，从而改进策略。PPO算法的特点是可以进行多次的小批量更新，而不是像标准的策略梯度方法那样每个数据样本只进行一次梯度更新12。PPO算法有两种主要的变体：PPO-Penalty和PPO-Clip。
强化学习（3） PPO pytorch实例
软件工程小施同学 的专栏
05-31 2594
邻近策略优化（Proximal Policy Optimization，PPO）算法解决的问题是离散动作空间和连续动作空间的强化学习问题，是on-policy的强化学习算法。算法主要思想：策略pi接受状态s，输出动作概率分布，在动作概率分布中采样动作，执行动作，得到回报，跳到下一个状态。在这样的步骤下，我们可以使用策略pi收集一批样本，然后使用梯度下降算法学习这些样本，但是当策略pi的参数更新后，这些样本不能继续被使用，还要重新使用策略pi与环境互动收集数据，真的非常耗时。因此采用。
【深度学习】强化学习（RL）-PPO（Proximal Policy Optimization，近端策略优化）
IT古董
02-25 3667
PPO（Proximal Policy Optimization，近端策略优化）是 OpenAI 在 2017 年提出的强化学习算法，它在策略梯度方法的基础上改进，具有更稳定的优化过程，广泛应用于机器人控制、自动驾驶、游戏 AI 等任务。PPO 通过 策略截断 (Clipping) 使策略更新更加稳定，并结合 GAE 提高样本利用率，是强化学习中最流行的算法之一。
3.深度强化学习------PPO(Proximal Policy Optimization)算法资料+原理整理
木易进
03-14 1万+
文章地址： PPO: Proximal Policy Optimization Algorithms 一. PPO资料 PPO原理讲解BLOG①：这篇blog详细讲了PPO算法的产生过程及原理，包含部分理论推导，看完这篇blog基本就理解PPO了。 PPO原理讲解BLOG②：可参考，其中包含部分tensorflow实现代码。 二. PPO原理简述 2.1 背景 PPO是基于基本的Policy Gradient进行改进的算法，关于PG的更新过程这里不详细描述了，可以根据上述BLOG①或其他资料或下面的图片推导
ppo
03-08
### Proximal Policy Optimization (PPO) 算法概述 Proximal Policy Optimization (PPO) 是一种用于强化学习中的策略优化方法，旨在通过改进代理的行为来最大化累积奖励。此算法特别之处在于其能够稳定而高效地训练复杂的神经网络模型。 #### PPO 的核心概念 在 PPO 中，为了防止更新过程中新旧策略之间差异过大而导致性能下降，在损失函数中引入了一个信任区域的概念。具体来说，这里是指定一个范围内的变化被认为是合理的；超出这个范围的变化则会被惩罚[^1]。 对于每次迭代： - 计算当前策略下的动作概率分布 - 使用采样得到的经验数据计算优势估计值（Advantage Estimation） - 更新前策略参数表示为特定向量形式 - 对于目标进行线性逼近以及对约束条件做二次逼近处理之后，采用共轭梯度法有效地解决了这个问题 这种方法不仅提高了收敛速度还增强了鲁棒性和稳定性。 ```python import torch.nn as nn from torch.distributions import Categorical class ActorCritic(nn.Module): def __init__(self, input_dim, hidden_dim, output_dim): super(ActorCritic, self).__init__() self.actor = nn.Sequential( nn.Linear(input_dim, hidden_dim), nn.ReLU(), nn.Linear(hidden_dim, output_dim), nn.Softmax(dim=-1) ) def select_action(state): state = torch.from_numpy(state).float().unsqueeze(0) probs = actor_critic.actor(state) m = Categorical(probs) action = m.sample() return action.item(), m.log_prob(action) ``` 上述代码展示了如何定义一个简单的演员评论家架构，并实现选择行动的功能。这有助于理解 PPO 实现过程的一部分逻辑结构。
评论 28
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

立Sir

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值