【强化学习】常用算法之一 “PPO”

PPO算法详解：强化学习中的策略优化
最新推荐文章于 2025-09-25 09:15:34 发布
原创 最新推荐文章于 2025-09-25 09:15:34 发布 · 2.2k 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#算法 #python #强化学习 #人工智能

本文深入探讨了强化学习中的PPO算法，从简介、发展史、算法公式到实际应用，详细阐述了PPO如何作为一个高效的策略优化算法工作，并提供了一个简单的CartPole任务的代码示例，展示了PPO算法在解决连续动作空间问题上的应用。

 

作者主页：爱笑的男孩。的博客_优快云博客-深度学习,活动,python领域博主爱笑的男孩。擅长深度学习,活动,python,等方面的知识,爱笑的男孩。关注算法,python,计算机视觉,图像处理,深度学习,pytorch,神经网络,opencv领域.https://blog.youkuaiyun.com/Code_and516?type=blog个人简介：打工人。

持续分享：机器学习、深度学习、python相关内容、日常BUG解决方法及Windows&Linux实践小技巧。

如发现文章有误，麻烦请指出，我会及时去纠正。有其他需要可以私信我或者发我邮箱:zhilong666@foxmail.com 

        强化学习（Reinforcement Learning）作为一种机器学习的分支，旨在让智能体通过与环境的交互来学习最优的行为策略。近年来，强化学习在各个领域取得了重要的突破，其中Proximal Policy Optimization（PPO）算法是一种重要的策略优化算法。

本文将详细讲解强化学习常用算法之一“PPO”

目录

一、简介

二、发展史

三、算法公式讲解

        1. 目标函数

        2. Surrogate目标函数

        3. 更新步骤

四、算法原理

五、算法功能

六、示例代码

七、总结

一、简介

        强化学习是一种通过智能体与环境的互动来学习最优行为策略的机器学习方法。相较于监督学习和无监督学习，强化学习的特点在于具有延迟奖赏和试错机制。在强化学习中，智能体通过选择动作来影响环境，并且从环境中获得奖励作为反馈。强化学习的目标是通过与环境的交互，使得智能体能够学会最优的行为策略。

        PPO算法属于策略优化（Policy Optimization）算法家族，是由OpenAI在2017年提出的。与其他策略优化算法相比，PPO算法具有较高的样本利用率和较好的收敛性能。该算法在分布式训练和大规模模型上都表现出了较好的性能，因此被广泛应用于各个领域，如机器人控制、自动驾驶、游戏等。

二、发展史

        在介绍PPO算法之前，需要先了解一些相关的算法。PPO算法是基于TRPO（Trust Region Policy Optimization）算法的改进。TRPO算法最初由Schulman等人于2015年提出，通过引入约束条件来保证每次更新的策略改变不会太大，从而确保策略的稳定性。然而，TRPO算法的计算复杂度较高，限制了其应用范围。

        为了解决TRPO算法的计算复杂度问题，Schulman等人在2017年提出了PPO算法。PPO算法通过引入一个修剪概率比率的约束，取代了TRPO算法中的相对熵约束。这样一来，PPO算法的计算复杂度大大降低，使得其在实际应用中更加高效。

三、算法公式讲解

        1. 目标函数

        PPO算法的目标是最大化预期回报函数。设状态为s，行动为a，策略函数为π(a|s)，价值函数为V(s)，回报函数为R。目标是最大化状态转换的总回报函数G。根据策略梯度定理，可以得到以下目标函数：

J(θ)=E[R(θ)] =E[∑t=0∞γt rt]

        其中，θ表示策略参数，γ表示折扣因子。

        2. Surrogate目标函数

        由于直接优化目标函数需要进行复杂的概率计算，PPO采用了一种近似的优化目标函数。引入一个由策略生成的新旧策略比率，即π(θ)/π(θ_old)。于是目标函数可以转化为：

J_surrogate(θ)=E[min(ratio(θ)A(θ), clip(ratio(θ), 1-ε, 1+ε)A(θ))]

        其中，A(θ)=Q(s,a)-V(s)表示优势函数，ratio(θ)=π(a|s)/π_old(a|s)表示比率，ε表示剪切范围。

        3. 更新步骤

        PPO算法通过交替地进行策略评估和策略改进来训练智能体。在每次迭代中，首先使用当前策略收集一批经验数据，然后使用这些数据来计算并更新策略。具体的更新步骤如下：

  • 收集经验数据；
  • 计算梯度并优化策略函数；
  • 更新价值函数。
最低0.47元/天 解锁文章
深度强化学习的常用算法——DQN，DDPG，PPO
AI天才研究院
08-05 2612
2015年末，机器学习已经成为人类与机器交互的新方式。近几年，随着强化学习在各个领域的广泛应用，深度强化学习也逐渐成为学术界和工业界研究的热点话题。深度强化学习（Deep Reinforcement Learning）是基于机器学习和大数据等技术提出的一种新的机器学习方法。它利用大量的实时反馈信息和高维动作空间，通过学习从原始输入到执行动作的映射关系，从而解决复杂问题，取得比传统机器学习更好的效果。其中最著名的就是由OpenAI开发的强化学习库OpenAI Gym。
【深度学习常用算法】十、深度强化学习之策略梯度方法：从理论到PPO算法的全面解析
专注于人工智能、软件开发、工控自动化、工厂数字化及智能化等领域，希望和大家共同进步！
05-21 1257
摘要：本文系统阐述了深度强化学习中策略梯度方法的核心原理及其代表算法PPO（近端策略优化）的技术细节。作为直接优化策略函数的强化学习方法，策略梯度特别适合处理连续动作空间问题，在自动驾驶决策、机械臂控制等领域具有广泛应用。文中详细解析了策略梯度定理、重要性采样、信任区域优化等关键技术，通过PyTorch实现完整的PPO算法，并在Mujoco物理仿真环境和真实机械臂平台上验证有效性。
强化学习15——Proximal Policy Optimization (PPO)算法详细推导
靡不有初鲜克有终
01-27 1万+
在Policy Gradient推导和REINFORCE算法两篇文章介绍了PG算法的推导和实现，本篇要介绍的算法是Proximal Policy Optimization (PPO)，中文叫近短策略优化算法。PPO由于其非常的好的性能与易于实现等特性，已被作为OpenAI公司的首选算法，可见这个算法的优秀性能，具体可以查看OpenAI-PPO 一、Policy Gradient 的不足 采样效率低下：PG采用MC采样方式，每次基于当前的策略对环境采样一个episode数据，然后基于这些数据更新策略，这个过
PPO算法的基本原理
haha125809的博客
10-27 3379
PPO算法与DDPG算法在水下自适应编码中均广泛的有应用，但两者之间略有区别，后续博主会继续更新基于强化学习的水声OFDM信道自适应调制方案论文的详细内容。
深入理解强化学习PPO算法（附带pyhton代码）
最新发布
dc_young的博客
09-25 1170
PPO1算法通过引入KL散度惩罚项来约束策略更新的幅度，确保新策略不会偏离旧策略太远。这种方法的主要优点是提供了理论上的稳定性保证，适合对安全性要求高的应用。主要缺点是计算相对复杂，需要计算KL散度并自适应调整惩罚系数，这增加了实现难度和计算开销。PPO2算法通过裁剪机制约束策略更新幅度，在保持训练稳定性的同时实现了高效优化。实现简单，无需复杂约束优化计算高效，适合大规模应用超参数少，易于调参在大多数任务中表现良好PPO2已成为强化学习领域的基准算法。
强化学习PPO篇——卫星博弈
m0_63086198的博客
10-15 2517
PPO算法通过使用剪辑的目标函数和多次小步更新，保证了策略更新的稳定性和样本效率。它适合处理高维连续动作空间的问题，并且在实践中表现出较好的稳定性和收敛速度。
【强化学习】PPO(Proximal Policy Optimization)近端策略优化算法
shura的技术空间
01-11 10万+
morvan zhou教学视频https://morvanzhou.github.io/tutorials/machine-learning/reinforcement-learning/6-4-DPPO/ Hung-yi Lee课程http://speech.ee.ntu.edu.tw/~tlkagk/courses_MLDS18.html PPO论文https://arxiv.org/abs...
PPO（Proximal Policy Optimization，近端策略优化）
mayaohao的博客
08-07 908
PPO 通过 “截断策略更新幅度” 实现了简单性与高性能的平衡，成为强化学习领域的 “瑞士军刀”。其核心是在策略梯度方法中加入近端约束，既保证了探索效率，又避免了训练不稳定。无论是学术研究还是工业应用，PPO 都是入门和实践的首选算法之一。
PPO算法是一种在深度强化学习中常用的策略优化算法
08-05
Proximal Policy Optimization (PPO) 是一种在深度强化学习中常用的策略优化算法。它在性能和稳定性方面取得了显著平衡，是由OpenAI提出的。PPO算法的核心思想是通过约束策略更新的幅度来避免策略崩溃，从而实现更...
强化学习顶流算法PPO：从原理到代码，为什么它成了AI大模型训练的「万能钥匙」？
weixin_52610848的博客
07-30 840
PPO的成功并非偶然：它用「剪辑」这一简单机制解决了策略优化的核心难题（更新稳定性），用「多轮迭代」提高了样本效率，用「Actor-Critic+熵正则化」平衡了探索与利用。对于研究者，它是快速验证想法的「瑞士军刀」；对于工程师，它是落地强化学习应用的「可靠工具」。未来，PPO的改进方向聚焦于「更精细的更新控制」（如自适应( \epsilon )）和「与其他技术的融合」（如离线强化学习、分层强化学习）。但无论如何，理解PPO的原理与实现，仍是掌握强化学习的必经之路。
【基础知识】什么是 PPO（Proximal Policy Optimization，近端策略优化）
页页读
03-05 1万+
PPO（Proximal Policy Optimization，近端策略优化）是一种强化学习算法，由John Schulman等人在2017年提出。PPO属于策略梯度方法，这类方法直接对策略（即模型的行为）进行优化，试图找到使得期望回报最大化的策略。PPO旨在改进和简化以前的策略梯度算法，如TRPO（Trust Region Policy Optimization，信任域策略优化），它通过几个关键的技术创新提高了训练的稳定性和效率。
Proximal Policy Optimization (PPO) 算法理解：从策略梯度开始
qq_43734019的博客
03-14 1万+
零基础理解PPO算法
强化学习之PPO
小星AI
09-09 4705
阅读本文前先了解TRPO算法有助于理解，我对此也写过博客：https://blog.youkuaiyun.com/tianjuewudi/article/details/120191097 参考李宏毅老师的视频：https://www.bilibili.com/video/BV1Wv411h7kN?p=80 PPO，全名Proximal Policy Optimization，近端策略优化算法。 PPO算法是一种新型的Policy Gradient算法，Policy Gradient算法对步长十分敏感，但是又难以选择合
Proximal Policy Optimization (PPO)
u013250861的博客
12-21 1693
基于参数化策略的思想，我们的目标就是找到那些可能获得更多奖励的动作，使它们对应的概率更大，从而策略就更有可能选择这些动作。为此，我们定义的最大化目标函数JθJ(\theta)Jθmax⁡θJθmax⁡θEτ∼πθRτmax⁡θ∑τPτ;θRτ其中τ\tauτ是agent与环境交互产生的状态-动作轨迹τs1a。
一文详解PPO（Proximal Policy Optimization, 近端策略优化算法）
qq_38961840的博客
01-17 1万+
本篇博客将从最基础的强化学习概念讲起，层层引入策略梯度、信任域策略优化（TRPO），最终剖析PPO的创新点与实现细节。然后再结合论文原文内容及一些示例代码，讨论PPO在大模型训练及实际应用（例如机器人控制、游戏、代码生成）的方式和优点。全文采用“先理论后实践”的结构，同时辅以必要的图示和代码，让读者能更清晰地把PPO的原理和实现对接起来。
PPO(Proximal Policy Optimization)算法原理及实现,详解近端策略优化
weixin_41106546的博客
04-04 9万+
接着上面的讲，PG方法一个很大的缺点就是参数更新慢，因为我们每更新一次参数都需要进行重新的采样，这其实是中on-policy的策略，即我们想要训练的agent和与环境进行交互的agent是同一个agent；与之对应的就是off-policy的策略，即想要训练的agent和与环境进行交互的agent不是同一个agent，简单来说，就是拿别人的经验来训练自己。举个下棋的例子，如果你是通过自己下棋来不断提升自己的棋艺，那么就是on-policy的，如果是通过看别人下棋来提升自己，那么就是off-policy的。
PPO 实现
weixin_41888257的博客
08-12 1025
import os import gym import numpy as np import pandas as pd import tensorflow as tf class PPO: def __init__(self, ep, batch, t='ppo2'): self.t = t self.ep = ep self.batch = batch self.log = 'model/{}_log'.format(t)
强化学习之PPO算法
m0_64087341的博客
10-16 1268
强化学习之PPO算法实战
深度增强学习PPO（Proximal Policy Optimization）算法源码走读
热门推荐
世事难料，保持低调
05-27 10万+
OpenAI出品的baselines项目是一系列reinforcement learning（强化学习或增强学习）算法的实现。现在已经有包括DQN,DDPG,TRPO,A2C,ACER,PPO在内的近十种经典算法实现，同时它也在不断扩充中。它为对RL算法的复现验证和修改实验提供了很大的便利。本文主要走读其中的PPO（Proximal Policy Optimization）算法的源码实现。PPO是...
强化学习ppo算法
03-22
### PPO算法原理 PPO（Proximal Policy Optimization）是一种高效的强化学习算法，其核心目标是在更新策略时不偏离当前策略太远。通过引入信任区域的概念，PPO能够在保持稳定性的前提下最大化奖励函数[^1]。 具体来说，PPO有两种主要形式：一种是基于KL散度约束的形式；另一种则是更常用的裁剪版本（PPO-clip）。对于后者，在损失函数的设计上加入了对优势估计的裁剪操作，从而避免了因过大学习率而导致的策略不稳定问题[^2]。 #### 数学表达 假设我们有一个旧策略 \(\pi_{\text{old}}\) 和新策略 \(\pi_\theta\) ，则PPO的目标是最小化以下损失函数： \[ L^{CLIP} (\theta) = \mathbb{E}_t [\min(r_t(\theta)\hat{A}_t, \text{clip}(r_t(\theta), 1-\epsilon, 1+\epsilon)\hat{A}_t)] \] 其中 \( r_t(\theta) = \frac{\pi_\theta(a_t|s_t)}{\pi_{\text{old}}(a_t|s_t)} \)，表示概率比率；而 \(\hat{A}_t\) 是优势函数的估计值[^3]。 --- ### 实现方法与工具支持 在实际开发过程中，开发者通常会借助成熟的开源库来快速搭建实验环境并验证模型效果。以下是几种常见的实现方式及其依赖的技术栈： 1. **OpenAI Gym**: 提供了一系列标准测试场景用于评估不同类型的强化学习任务表现情况，比如经典的CartPole平衡杆游戏等。 2. **PyTorch/TensorFlow**: 这两个主流深度学习框架都具备构建复杂神经网络的能力，并且各自拥有针对特定需求定制化的扩展包（如Stable-Baselines3），可以直接调用已封装好的PPO类完成训练流程配置工作。 3. **Stable-Baselines3 & OpenAI Baselines**: 它们分别建立于上述两大DL平台之上，进一步简化了高级API接口设计思路，使得初学者也能轻松掌握如何定义参数空间范围以及监控收敛过程中的各项指标变化趋势。 下面给出一段利用Python配合PyTorch实现基本版连续控制环境下Actor-Critic结构下的伪代码作为参考： ```python import torch from torch import nn from torch.distributions import Normal class ActorCritic(nn.Module): def __init__(self, state_dim, action_dim): super().__init__() self.actor = nn.Sequential( nn.Linear(state_dim, 64), nn.Tanh(), nn.Linear(64, action_dim) ) self.critic = nn.Sequential( nn.Linear(state_dim, 64), nn.Tanh(), nn.Linear(64, 1) ) def forward(self, states): mean_actions = self.actor(states) values = self.critic(states).squeeze(-1) std_deviation = torch.ones_like(mean_actions)*0.5 # Fixed standard deviation distribution = Normal(loc=mean_actions, scale=std_deviation) return distribution, values def compute_loss(new_log_probs, old_log_probs, advantages, epsilon_clip=0.2): ratio = (new_log_probs - old_log_probs).exp() surr1 = ratio * advantages surr2 = torch.clamp(ratio, 1.0 - epsilon_clip, 1.0 + epsilon_clip) * advantages policy_loss = -torch.min(surr1, surr2).mean() value_preds = critic_values # Placeholder for actual predictions from Critic network returns = target_returns # Computed using GAE or Monte Carlo methods value_loss = F.mse_loss(value_preds, returns) total_loss = policy_loss + 0.5*value_loss return total_loss ``` 此段脚本展示了怎样创建一个简单的AC架构实例对象并通过自定义loss function来进行反向传播调整权重的过程. --- ### §相关问题§ 1. 如何调节超参以提高PPO算法性能？ 2. 在多智能体协作场景下能否有效运用PPO机制解决问题？如果有，请举例说明应用场景。 3. 当前有哪些改进型变种被提出用来克服原生PPO可能存在的局限之处? 4. 使用GPU加速能够带来哪些方面的提升对比CPU运算模式而言？ 5. 如果遇到样本分布不均衡的情况应该采取何种措施应对呢？
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

爱笑的男孩。

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值