RL Policy-Based : Actor-Critic，A3C,DPG,DDPG,TRPO,PPO

WorldModel WorldModel 博客等级 墨衍会员 · AI 创作全网分发 墨衍智能分发 本文由作者通过墨衍一键同步至各平台 1分发平台 400+累计阅读 492平均单平台 已同步平台 优快云 微信公众号 微博 知乎 掘金 百家号 博客园 抖音 小红书 你的文章也可以这样分发 墨衍会员 ¥399起/年，写一次发全网 我也要 码龄27年
关注
原创 最新推荐文章于 2026-07-06 16:35:18 发布 492 阅读 AI 写同款· GEO 优化 ›
强化学习（Reinforcement Learning, RL）中的策略（Policy） 在强化学习中，策略是智能体决策的核心，定义了在给定状态下如何选择动作。πS→AπS→AπS→PAπS→PA其中PAPA表示动作空间AA上的概率分布。强化学习中的策略是智能体与环境交互的核心，决定了如何根据状态选择动作。策略可以是确定性的或随机的，通过表格表示或函数逼近实现。优化策略的方法包括基于价值的、基于策略的，以及 Actor-Critic 方法。深度强化学习通过神经网络建模策略，结合探索与利用技术，解决复杂任务。 阅读详情

RL  Policy-Based ，基于策略梯度PG的算法：

PG基础:  REINFORCE

PG扩展： Actor-Critic，A3C,DPG,DDPG,TRPO,PPO

=============

REINFORCE Algorithms ,Machine Learning,1992
Ronald J. Williams. Simple statistical gradient-following algorithms for connectionist reinforcement learning. Machine Learning, 8(3):229-256, 1992
https://people.cs.umass.edu/~barto/courses/cs687/williams92simple.pdf

Actor-Critic Algorithms, NIPS 1999
https://papers.nips.cc/paper/1999/file/6449f44a102fde848669bdd9eb6b76fa-Paper.pdf
https://www.mit.edu/~jnt/Papers/J094-03-kon-actors.pdf

Asynchronous Advantage Actor-Critic, A3C , ICML 2016
https://arxiv.org/abs/1602.01783
https://github.com/dennybritz/reinforcement-learning/tree/master/PolicyGradient/a3c
A2C,Advantage Actor Aritic:A2C is a synchronous, deterministic variant of
Asynchronous Advantage Actor Critic (A3C)
https://github.com/openai/baselines/blob/master/baselines/a2c/a2c.py
https://openai.com/blog/baselines-acktr-a2c/
Deterministic Policy Gradient Algorithms, DPG     ICML 2014
https://hal.inria.fr/file/index/docid/938992/filename/dpg-icml2014.pdf
Continuous Control with Deep Reinforcement Learning,DDPG, ICLR 2016
https://arxiv.org/abs/1509.02971
https://github.com/openai/baselines/tree/master/baselines/ddpg
https://spinningup.openai.com/en/latest/algorithms/ddpg.html

Distributed Distributional Deterministic Policy Gradients,D4PG, ICLR 2018
https://arxiv.org/abs/1804.08617

Trust Region Policy Optimization,TRPO, ICML 2015
https://arxiv.org/abs/1502.05477
Proximal Policy Optimization Algorithms,PPO,2017
https://arxiv.org/abs/1707.06347
https://github.com/openai/baselines/tree/master/baselines/ppo1

Policy Gradient Algorithms,Lilian Weng,OpenAI,2018~
https://lilianweng.github.io/lil-log/2018/04/08/policy-gradient-algorithms.html

Actor-Critic相关算法小结
https://zhuanlan.zhihu.com/p/29486661
https://blog.youkuaiyun.com/WASEFADG/article/details/81042818
深度增强学习（DRL）漫谈 - 从AC（Actor-Critic）到A3C（Asynchronous Advantage Actor-Critic）
https://jinzhuojun.blog.youkuaiyun.com/article/details/72851548

Ref:

Reinforcement Learning: A Survey  1996
https://www.cs.cmu.edu/afs/cs/project/jair/pub/volume4/kaelbling96a-html/rl-survey.html
REINFORCE Algorithms
https://www.cs.cmu.edu/afs/cs/project/jair/pub/volume4/kaelbling96a-html/node37.html

收录于
03.RL

当前文章被收录于：

03.RL
3 篇文章 0 人学习

强化学习

订阅专栏 查看详情
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
强化学习课程笔记之policy-based方法 policy-based和value-based是RL中model-free的两大分支，关于value-based的课程笔记，点这里。本篇是关于policy-based的课程笔记。 课程笔记参考： 李宏毅笔记(github版)、叶强pdf、Morvan、刘建平博客园 论文阅读 Sutton强化学习书籍 常见的policy-based方法： REFORCEMENT A2C A3C DDPG TD3 Smoothie SAC系列(SQL) PPO系列(TRPO、DPPO) 为什么要学习policy-base 阅读详情

相关推荐

RL论文阅读【七】Deterministic Policy Gradient Algorithms

1废话 终于看到 PG 了，后边还要看 DDPG，TRPO，PPO，SAC，NAF，TD3，A3C等等，任重而道远啊。看完 model free 还想着重看看 model based，好多啊，不知道什么时候能接近前沿，努力吧，为了爱而奋斗。另外，越写越懒了，只做自己复习用，很多都省了，新手还是别看了，看不懂的。 这篇论文可以算是现在很多 PG 的鼻祖了，证明了 Deterministic PG...

taoyafan的博客 1340

[文献阅读] - [Review-model-based RL] (3) - [Model-based RL: a Survey]

MBRL: survey 2020

upr_rom的博客 322

TRPO算法详解

TRPO算法详解

qq_48191249的博客 4670

Deterministic Policy Gradient Algorithms (DPG强化学习) 论文翻译

Deterministic Policy Gradient Algorithms David Silver, Guy Lever, Nicolas Heess, Thomas Degris, Daan Wierstra & Martin Riedmiller Abstract 在本文中，我们考虑确定性策略梯度算法，用于连续行动的强化学习。 确定性策略梯度具有特别吸引人的形式：它是动作 ...

weixin_43590290的博客 1702

主流强化学习算法论文综述：DQN、DDPG、TRPO、A3C、PPO、SAC、TD3

强化学习自从15年开始DQN的成功应用得到了雨后春笋般成长，获得学术界极高的关注。在此之间，强化学习主要以model based模型为主，其特点为问题针对性强，需要大量的人为假设，且对于不同问题需要特定的模型套入。而现在开始model free的模型有极大的通用性，一个算法吃遍天下所有任务，因此也提高了之间的可比较性，也促成了学术界的井喷。主流的两个思路为Q-learning和Policy gra...

te_sun的博客 2万+

强化学习基础：强化学习分类，强化学习表示，值函数，策略迭代/值迭代, 主要的强化学习技术(蒙特卡洛学习/时间差分学习,DQN.,策略梯度/REINFORCE/AC系列算法)

强化学习

weixin_36378508的博客 3420

RL--Policy-based methods--PPO

policy gradient 的 off-policy 版本，有 2 个 policy，behavior policy 用来采样，target policy 是训练最终要得到的结果。PPO全称Proximal Policy Optimizationproximal 为近端的，表示要让 behavior policy 和 target policy 差别不太大。虽然采样和训练的2 个 policy，但是需要他们差别较小。

u012492756的博客 291

强化学习算法: 让机器能够学习、决策和预测 DQN、DDPG和TRPO算法介绍 A Comprehensive Guide to Reinforcement Learning Algorithm

人工智能（AI）一直是人类进步的一个方向。机器学习是AI的一个重要组成部分，也是研究者们在日益强大的机器学习领域不断追赶的领域。而人工智能的重点是解决复杂的问题，机器学习是一种能从数据中自动学习并改善其行为的方法。因此，机器学习可以帮助我们解决很多实际问题。特别地，强化学习（Reinforcement Learning，RL）是机器学习的一个子领域。RL属于一个在环境中交互采取行动，并且反馈反馈奖励，直到达到最佳状态、或遭遇最大的损失为止的过程。通过学习，RL可以提高效率，减少出错，加快收敛等等。

AI天才研究院 367

2020REID survey 综述Deep Learning for Person Re-identification: A Survey and Outlook

参考自：机器之心 该文章发表于2020年初，作者调查了245篇近两三年的行人重识别（Person Re-identification）论文，分类为封闭世界ReID与开放世界ReID，综述了该方向的技术进展，对未来ReID技术发展给出了几个有价值的...

weixin_44523062的博客 933

从爱好者到工程师：如何低成本体验RFSoC ZU47DR？性能实测与避坑指南

本文详细介绍了如何低成本体验赛灵思RFSoC ZU47DR芯片，包括二手开发板选购、租赁服务、精简开发环境搭建等实用方案。通过性能实测与避坑指南，帮助爱好者和工程师在有限预算下充分利用这款集成了ARM处理器和FPGA的高性能芯片，降低开发门槛。

weixin_42525005的博客 214

示波器面板上的隐藏功能：如何利用BW Limit和EXT TRIG提升测量精度

本文深入探讨示波器面板上的隐藏功能BW Limit和EXT TRIG，揭示它们如何提升测量精度。通过带宽限制(BW Limit)有效滤除高频噪声，结合外部触发(EXT TRIG)确保稳定信号捕获，为电子测量提供专业解决方案。特别适用于开关电源、传感器信号等复杂场景的高精度测量需求。

weixin_30300225的博客 517

RL3—策略梯度

从 Likelihood‑Ratio → Policy Gradient Theorem → Actor‑Critic Loss，每一步验算无偏性与方差来源。：在 CartPole 上用纯 REINFORCE、A2C、PPO 各跑一次，记录收敛速度与方差对比。：挑 CleanRL / RL‑Baselines3‑Zoo 的 PPO，实现断点调试，追踪。：系统扫描 γ、λ、clip‑ε、entropy‑β；将表中问题逐条搞懂并用实验验证，你不只是“会用策略梯度框架”，而是真正理解。

qq_60957452的博客 601

AD9826的时序分析及Verliog代码

AD9826的时序分析及Verliog代码 （本文对AD9826的模式和时序进行了分析，如有错误敬请指正，关于这款ADC芯片的基本参数，本文不做过多介绍） 1、AD9826的模式 AD9826的采样模式主要有两种，一种是“CDS模式”，一种是“SHA模式”；在这两种模式下分别有1通道、2通道、3通道的采样模式 （1）CDS模式 简单的来说CDS模式就是，有两个采样时钟，一个是ADCCLK1，用来采样CCD波形的参考电平，一个是ADCCLK2用来采样数据电平，然后经过，偏移量调节，再经过PGA增益放大最

m0_50102488的博客 6469

深度强化学习实战指南：从PPO、DQN算法原理到调参部署全解析

这类课程标题看着很吸引人，但真正想学的人，最该关心的不是“100集”这个数字，而是这套内容能不能帮你把强化学习从“知道概念”变成“能动手、能调参、能解决实际问题”。深度强化学习（DRL）这几年在游戏AI、机器人控制、推荐系统里应用很广，但它的学习曲线很陡，很多人卡在理论看不懂、代码跑不通、效果调不出来这几个环节。 一个能帮你“学完即可就业”的课程，核心价值不在于覆盖了多少算法名字，而在于它是否解决了这三个实际问题： 1. 把数学公式和代码实现真正对应起来 ； 2. 给出可复现、可修改的实战项目环境 ； 3.

weixin_33910137的博客 509

PCIE配置和地址空间

来源：https://www.jianshu.com/p/574e9a2cbc4e 每个PCIe设备，有这么一段空间，Host软件可以读取它获得该设备的一些信息，也可以通过它来配置该设备，这段空间就叫做PCIe的配置空间。不同于每个设备的其它空间，PCIe设备的配置空间是协议规定好的，哪个地方放什么内容，都是有定义的。PCI或者PCI-X时代就有配置空间的概念，那时的配置空间如下： 图6.1 整个配置空间就是一系列寄存器的集合，其中Type 0是Endpoint的配置，Type 1是Brid.

qq_28643619的博客 4059

23.网工入门篇--------介绍一下园区网典型组网架构及案例实践

园区网典型组网架构主要分为小型、中型、大型三种类型，以下是详细介绍及相关案例实践：

qq_31450765的博客 964

PPO算法与DDPG算法的比较

Actor 网络输出在给定状态st​πθ​at​∣st​)].PPO 迭代地更新这个 policy，以改进策略并提高性能。

qq_45889056的博客 3932

关于获取CISP-PTE一些避坑经历

考场内是不允许携带外设键盘的,现场会至少有一个360安全专业人员监考.所有人电脑都会提前装一个奇安信的一个考试exe,刚开始的时候会让你连接一个WIFI,我们将会通过WIFI进行做题,做题期间你的电脑将被全程监控并且一些退出快捷键也是全部锁死(有点像勒索病毒那种界面),想要重启必须直接拔电源。中途可以上厕所,需要监考官陪同

6321

RL-PolicyGradient 理解与实例

策略梯度PG PG学习中的理解–PG算法去夺???? -主要来源了莫烦大神 1.怎么进行神经网络的误差反向传递： policy Gradients是没有误差，他进行的一种反向传递的目的是让这次被选中的行为更有可能在下次发生。但是我们要怎么确定这个行为应被增加被选的概率，这时也是需要使用reward奖罚制度。 整个流程就是：观测的信息通过神经网络分析，选出一个行为，然后进行反向传递增加这个行为下次被选择的可能性。如果奖罚信息告诉我们，这个行为不好，那么这个动作可能增加的幅度会逐渐降低，也就是选择这个行为动作的

weixin_45211921的博客 500

pta——特立独行的幸福

这是我认为比较复杂的一道题了，比较迷茫的点在于不知道要算各位平方和几次到不了1，才算他不是幸福数。突破口在于如果如果不是回到1也会有一些数字重复出现，只要重复出现的数字不是1，那就不是幸福数

m0_65620244的博客 4034

PMP--工件

合同是指对双方都有约束力的协议，强制卖方提供规定的产品、服务或结果，以及强制买方支付相应的费用。它还可能包括处于中间状态的特性，例如已设计但尚未构建的特性、质量保证中的特性或测试中的特性。RACI 矩阵是一种常见的方法，用于显示执行、担责、咨询或知情，且与项目活动、决策和可交付物有关的干系人。计划是提议的实现某种目标的方式。在项目开始前或开始时创建的文件，涉及与项目有关的战略、商业或高层级的信息。或 © 它们是用特定方法创建的结果，例如，虽然成本估算结果是一个重要工件，它们是用不同估算方法得出的结果。

stqer的博客 1665

【RL】Policy Gradient Methods（策略梯度方法）

概述强化学习算法中策略梯度方法。

qq_44733706的博客 1226

SIMATIC S7-1200, S7-1500 PID 控制[手册]

SIMATIC S7-1200, S7-1500 PID 控制[手册]

李宏毅深度强化学习笔记

文章目录增强学习（RL）的一些基本概念：RL的基本组成：三者相互作用的过程：Policy：轨迹的概率：Expected Reward：Policy gradient:On-policy→\rightarrow→Off-policyImportance Sampling：PPO:注： 增强学习（RL）的一些基本概念： RL的基本组成： 1-actor：即操纵/需要学习的对象，如飞机大战里的飞机 2-environment：外部环境，如飞机大战里除了飞机以外的所有东西，他们均为游戏内部设定 3-reward：回

weixin_46156798的博客 1211

迈瑞BS系列全自动生化分析仪LIS协议接口手册(内含HL7和ASTM)

迈瑞BS系列全自动生化分析仪LIS协议接口手册，内含HL7和ASTM)

文档：亲测可用解决vnc灰屏，黑屏，鼠标大黑叉情况

主要解决vnc-viewer灰屏，黑屏，鼠标大黑叉等现象，详细见文档。

李宏毅强化学习笔记【3.Actor-Critic】

复习策略梯度policy gradient 计算在某一个state，采取action a的概率。到游戏结束为止，获得多少reward。 G很不稳定。除非sample很多。 复习Q-learning 用期望代替sample，value-based 第一种方法算V，用π和环境做互动，看到s之后，累计reward期望值是多少。 第二种方法，用π，当再s采取a，累计reward是多少...

*晴儿*的博客 474

计算机控制技术及应用

《计算机控制技术及应用》通过总结作者的科研成果和吸收国内外的先进理论、方法和技术，以计算机控制系统的网络化、开放化、智能化和集成化发展趋势为主线索，主要介绍计算机控制系统的基本概念和计算机控制系统的典型形式，计算机控制系统的数学描述与基本分析方法，以及数字PID控制器、最少拍控制系统、达林算法、状态变量设计法等设计方法及其各种改进算法。重点突出计算机控制系统输入输出通道接口的设计方法和典型控制系统的设计案例与实现方法等。

RL——Policy Gradient类方法

Policy Gradient和Q-learning可以说是model-free RL的两大阵营。前者是off-line, on-policy的方法，后者是on-line, off-policy的方法。前者是策略迭代，关心的是策略网络的参数；后者是值迭代，关心的是值网络的输出。随着RL的不断发展，这两类方法在不断交错领跑的过程中交汇融合。 本文重点介绍Policy Gradient的方法，从其“初...

Vic_Hao的博客 681

强化学习-6 DDPG、PPO、SAC算法

ddpg ppo sac 算法

cezyzhao的博客 2444
上一篇： transformer系：transformer-xl，Lite Transformer
下一篇： Neural Architecture Search: A Survey
点赞 3
评论 0
书签 书签 1
WorldModel
WorldModel
博客等级 码龄27年 23粉丝 75原创
+ 关注 专栏目录 订阅专栏
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值