基于PPO梯度优化、AC框架的强化学习——离散动作怎么用

原创 已于 2022-03-21 20:38:31 修改 · 4k 阅读 · 7 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#pytorch #迁移学习

于 2022-03-21 20:34:13 首次发布
本文详细介绍了Proximal Policy Optimization (PPO)算法的工作原理，包括如何从on-policy转化为off-policy，KL散度的应用及其在似然函数中的调整，以及两种实现方式的对比。通过月球登陆器案例，一步步揭示了PPO在强化学习中的高效训练策略。

【强化学习】⚠️手把手带你走进强化学习 2⚠️ OPP 算法实现月球登陆器 (PyTorch 版)_我是小白呀的博客-优快云博客

PPO算法原理简介

接着上面的讲，PG方法一个很大的缺点就是参数更新慢，因为我们每更新一次参数都需要进行重新的采样，这其实是中on-policy的策略，即我们想要训练的agent和与环境进行交互的agent是同一个agent；与之对应的就是off-policy的策略，即想要训练的agent和与环境进行交互的agent不是同一个agent，简单来说，就是拿别人的经验来训练自己。举个下棋的例子，如果你是通过自己下棋来不断提升自己的棋艺，那么就是on-policy的，如果是通过看别人下棋来提升自己，那么就是off-policy的：

那么为了提升我们的训练速度，让采样到的数据可以重复使用，我们可以将on-policy的方式转换为off-policy的方式。即我们的训练数据通过另一个Actor（对应的网络参数为θ'得到。这要怎么做呢？通过下面的思路：

最低0.47元/天 解锁文章
在线学习的深度强化学习——Online Reinforcement Learning for Learning
AI天才研究院
09-01 3739
在人工智能和机器学习领域，深度强化学习（Deep Reinforcement Learning，DRL）已经成为一个备受关注的研究方向。传统的强化学习方法在处理高维状态空间和复杂决策问题时往往力不从心，而深度强化学习通过结合深度学习的强大表示能力，极大地扩展了强化学习的应用范围。然而，在实际应用中，我们常常面临着动态变化的环境和持续输入的数据流，这就要求学习算法能够实时地适应新的情况，不断调整和优化决策策略。在线学习（Online Learning）作为机器学习的一个重要分支，专门解决在。
强化学习（Reinforcement Learning, RL）求解方法—— 基于价值的算法、基于策略的算法和演员-评论家方法
Rhett_Butler0922的博客
04-26 1060
强化学习是机器学习的一个分支，研究如何让智能体（Agent）通过与环境（Environment）交互，学习最优的行为策略以最大化长期累积奖励。不同于监督学习（有明确标签）和无监督学习（寻找数据结构），强化学习的反馈是延迟的稀疏的，智能体需要通过试错（trial-and-error）探索环境，平衡探索（exploration）和利用（exploitation）。游戏（如 AlphaGo、Atari 游戏）。机器人控制（机械臂抓取、无人机导航）。推荐系统、自动驾驶、资源调度等。
强化学习中DQN、AC、TPRO、PPO、DDPG、SAC、TD3的区别及优缺点
weixin_38991876的博客
10-22 1283
的固定格式，把每个算法讲清楚并比较它们的差别。你列出的算法我把。
ppo玩cartpole(离散动作)
weixin_43292547的博客
09-12 3427
https://github.com/hitgub123/rl import tensorflow as tf from tensorflow import keras from keras.layers import * import numpy as np import gym np.random.seed(1) tf.random.set_seed(1) EP_MAX = 1000 EP_LEN = 500 GAMMA = 0.9 # reward discount factor A_LR =
一文读懂PPO算法
最新发布
qq_60714765的博客
11-03 1327
在深入PPO之前，我们必须先理解强化学习 (Reinforcement Learning, RL) 的基本框架。想象一个智能体 (Agent)（比如一个游戏角色或机器人）在一个环境 (Environment)中（比如一个游戏关卡或现实世界）。状态 (State)：智能体首先观察环境，获得一个状态 (State)或观察 (Observation)。动作 (Action)：基于这个状态，智能体从它所有可能的“动作空间” (Action Space) 中（例如“向左”、“向右”、“跳跃”），选择一个。
强化学习经典算法笔记(十一)：近端策略优化算法（PPO）实现，基于A2C（上）
hhy_csdn的博客
06-30 6192
强化学习经典算法笔记(十一)：近端策略优化算法（PPO）实现，基于A2C PPO算法是一种On-policy算法，可以被用于连续空间任务和离散空间任务。在OpenAI发表的PPO原始论文中，关于新旧策略的相似程度，有两种处理办法，一个是Penalty，一个是Clip。 Penalty是将新旧策略的KL散度作为一个罚项加入到目标函数中，避免了TRPO中的那种硬性约束。Clip是将新旧策略做比值，将这一比值限制在一定范围，如[0.8,1.2][0.8,1.2][0.8,1.2]。论文实验和实际使用经验都表明PP
AC的改进算法——TRPO、PPO
Catherine_he_ye的博客
02-19 4744
TRPO、PPO算法
【PPO】近端策略优化【Clip版本，离散动作】
weixin_46267823的博客
03-15 5476
可以看到PPO算法中的策略网络输出的是对应的动作概率，从最后一行代码中可以识别出PPO算法与算法一样，其价值网络仅用来进行价值估计。所以其最后的输出的维度是一维，从可以看出。
【强化学习】基于tensorflow2.x 的 PPO2（离散动作情况） 训练 CartPole-v1
weixin_41369892的博客
01-18 1324
【强化学习】基于tensorflow2.x 的 PPO2（离散动作情况） 训练 CartPole-v1。
基于AC算法的强化学习实战演示
“Basic-AC-Demo.zip”这一压缩包文件名称中的“AC”明确指向Actor-Critic算法，是强化学习领域中一类极为重要的策略梯度方法。该压缩包所附带的描述“强化学习实战”进一步表明，该项目旨在通过实际代码实现帮助...
强化学习基础：强化学习分类，强化学习表示，值函数，策略迭代/值迭代, 主要的强化学习技术(蒙特卡洛学习/时间差分学习,DQN.,策略梯度/REINFORCE/AC系列算法)
weixin_36378508的博客
02-15 3162
强化学习
【CleanRL】强化学习SAC进阶——离散动作实现与数学原理
QinZheng7575的博客
09-18 827
本文介绍了离散动作空间下SAC（Soft Actor-Critic）算法的实现要点。与连续版本不同，离散SAC需要让策略输出所有动作的概率分布，并通过加权求和直接计算期望值。
完整的对于多维离散动作的ppo算法的学习过程
qq_56753958的博客
12-19 697
已知在通过unity环境的mlagents进行ppo实现强化学习过程的方式中，若要实现离散动作和连续动作输出，只需要在Parameter中设定动作的数量即可实现。但是当需要在基础的ppo架构上进行改动，例如增加分层或者改变前面的网络，需要通过gym的方式进行通信进行训练。做完这一步后，通过softmax函数和distributions.Categorical进行取得最终的离散动作的一组动作列表。后续还在研究在网络架构需要微调的地方，基本上的理念和ppo是一致的，有做过的大佬可以给个参考的内容。
强化学习—— 离散与连续动作空间（随机策略梯度与确定策略梯度）
热门推荐
Cyrus_May的博客
04-12 1万+
强化学习—— 离散与连续动作空间（随机策略梯度与确定策略梯度）1. 动作空间1.1 离散动作空间1.2 连续动作空间 1. 动作空间 1.1 离散动作空间 比如:{left,right,up}\{left,right,up\}{left,right,up} DQN可以用于离散的动作空间（策略网络） 1.2 连续动作空间 比如：A=[0∘，180∘]∗[0∘,360∘]A=[0^{\circ} ，180^{\circ} ]*[0^{\circ} ,360^{\circ} ]A=[0∘，180∘]∗[0
基础算法篇（六），基于AC框架的PPO算法
samurasun的博客
09-01 7726
我们上一章给大家介绍了经典的策略梯度（PG）算法，但这个经典算法存在两个问题： 一是需要完整序列 我们根据强化学习的目标“最大化总收益”而得到的公式中包含R(τ)=∑t=1TrtR\left(\tau\right)=\sum_{t=1}^Tr_tR(τ)=∑t=1T​rt​，就算我们对其进行添加基线、改变收益计算方式等，都还是没有脱离从ttt时刻起，需要后续所有收益这一问题，这一方法类似于我们在“基础算法篇（二），蒙特卡洛方法解决Model-Free强化学习问题”讲的方法，而这对强化学习本身来说，是很难
01 强化学习——策略梯度法(Policy Gradient PG)（离散动作）
风雨潇潇一书生
11-30 4211
一、来源和定位 1.1 PG算法在强化学习方法中的定位 策略梯度是基于策略搜索方法中最基础的方法，要理解AC，DDPG需要先学习策略梯度。 1.2 策略梯度直观理解 策略梯度是将智能体的策略转换成参数的非线性函数，通过寻优参数找到函数的最值，从而使回报值最大。如下图所示，假设有三条路径（每一条路径理解为一个策略）回报分别为1,3，-1.最直观的做法是尽量选择第二条路径，即增加该策略的概率，使最终的回报最大。 二、问题数学表示 主要思想是使最终的回报最大，即一个完成的交互episode（从
深度强化学习 Actor-Critic演员评论家 PPO
软件工程小施同学 的专栏
05-26 6657
Actor-Critic从名字上看包括两部分，演员(Actor)和评价家(Critic)。其中Actor使用的是策略函数，负责生成动作(Action)并和环境交互。而Critic使用的是价值函数，负责评估Actor的表现，并指导Actor下一阶段的动作。import gymimport sys"""策略函数逼近""""""值函数逼近器""""""Actor Critic 算法.通过策略梯度优化策略函数逼近器参数:env: OpenAI环境.
强化学习（实践）：REINFORCE，AC，TRPPO，PPO
燕双嘤
04-21 4910
基于策略的方法：策略梯度和AC算法。这些算法虽然简单、直观，但在实际应用过程中会遇到训练不稳定的情况。基于策略的方法中参数化智能体策略，并设计衡量策略好坏的目标函数，通过梯度上升的方法来最大化这个目标函数，使得策略最优。
强化学习（PPO,DQN,A3C）
weixin_48878618的博客
07-30 1708
在强化学习中目标函数为奖励最大值的期望，θ为需要更新的权重，为什么不直接用最大值，而用最大值的期望呢，简单理解，这样做泛化效果更好，进一步可以理解为，同样的权重但是无法保证同样的action，更无法保证同样的奖励（这就类似于，一个人让他重走一遍人生，即便所有的权重（人生大小事的选择相同）他的结果可能不一样）。，所以认为前一个和自己最像，再用前一个的θ得到的数据，训练当前θ，就是说用θ1的训练数据训练θ2，θ2保存在θ中，再用θ2的训练数据训练θ3，再将θ3替代原θ2保存在θ中，一直跌倒到最后。
强化学习之离散动作采样 vs 连续动作采样
loxs
03-06 1764
为了解决这个问题，我们利用概率密度函数（PDF）来估计动作的发生概率。强化学习（Reinforcement Learning, RL）是一种训练智能体（agent）在环境中学习决策策略的方法。本文介绍强化学习中常见的离散和连续动作采样方法，并分析如何计算动作采样的对数概率（log probability, logp）（有了logp才能求导优化）。），使得采样过程变得可导，从而可以通过梯度下降优化策略。时，单位长度可能会被拉伸或压缩，因此密度需要乘以导数的绝对值进行调整，以确保总概率保持不变。
评论 1
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值