【李宏毅深度强化学习笔记】6、Actor-Critic、A2C、A3C、Pathwise Derivative Policy Gradient

最新推荐文章于 2024-12-06 14:25:50 发布
原创 最新推荐文章于 2024-12-06 14:25:50 发布 · 8.3k 阅读 · 37 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#深度强化学习 #Actor-Critic #Advantage Actor-Critic #A3C #Pathwise Derivative Policy Gra

本文深入解析强化学习核心算法，包括策略梯度、Q-learning、Actor-Critic及其变种A3C，探讨Pathwise Derivative Policy Gradient算法如何优化决策过程。通过实例说明不同算法的工作原理及优劣。

【李宏毅深度强化学习笔记】1、策略梯度方法（Policy Gradient）

【李宏毅深度强化学习笔记】2、Proximal Policy Optimization (PPO) 算法

【李宏毅深度强化学习笔记】3、Q-learning（Basic Idea）

【李宏毅深度强化学习笔记】4、Q-learning更高阶的算法

【李宏毅深度强化学习笔记】5、Q-learning用于连续动作 (NAF算法)

【李宏毅深度强化学习笔记】6、Actor-Critic、A2C、A3C、Pathwise Derivative Policy Gradient（本文）

【李宏毅深度强化学习笔记】7、Sparse Reward

【李宏毅深度强化学习笔记】8、Imitation Learning

-------------------------------------------------------------------------------------------------------

【李宏毅深度强化学习】视频地址：https://www.bilibili.com/video/av63546968?p=6

课件地址：http://speech.ee.ntu.edu.tw/~tlkagk/courses_MLDS18.html

-------------------------------------------------------------------------------------------------------

回顾

Policy gradient

 G表示在s_t采取a_t一直玩到游戏结束所得到的cumulated reward。这个值是不稳定的，因为在某一个state采取同一个action，最后的结果不一定相同。因为state的变化也是有随机性的。

虽然经过多次实验后，可能会发现G最后会变成一个比较稳定的分布，那么理论上收集足够多的数据就能解决这一问题。但是因为policy gradient是一个on policy的方法，每次更新参数后又要重新收集数据。如果每次都要收集非常多的数据那也会造成效率的低下。

（更多 policy grad

最低0.47元/天 解锁文章
Actor-Critic
克己慎独的博客
09-12 603
Actor-Critic 文章目录Actor-Critic算法思想算法实现参考文章 算法思想 ​ Actor-Critic是一种基于策略和价值的强化学习算法，原来 Actor-Critic 的 Actor 的前生是 Policy Gradients ，这能让它毫不费力地在连续动作中选取合适的动作,，而 Q-learning 做这件事会瘫痪。原来 Actor Critic 中的 Critic 的前生是 Q-learning 或者其他的以值(value)为基础的学习法 , 能进行单步更新，而传统的 Policy
【详解+推导！！】Pathwise Derivative Policy Gradient（PDPG）
志远的博客
04-09 2728
Pathwise Derivative Policy Gradient（PDPG） 是一种强化学习方法，可以解决连续动作的问题。 文章目录1. 前缀知识2. 如何理解这个算法与Actor-Critic对比理解与Q-Learning对比理解3. 算法过程 1. 前缀知识 如果想比较深刻的理解Pathwise Derivative Policy Gradient（PDPG）需要提前了解一下内容： Policy Gradient：https://blog.youkuaiyun.com/qq_33302004/article
深度强化学习 - Actor-Critic
01-30
Actor-Critic Asynchronous Advantage Actor-Critic (A3C) Pathwise Derivative Policy Gradient
Actor-critic
qq_43058281的博客
04-07 281
Actor-criticReview-Policy GradientReview-Q-learningActor-CriticAdvantage Actor-Critic(A2C)Asynchronous Advantage Actor-Critic(A3C)Pathwise Derivative Policy Gradient 李宏毅深度强化学习 学习笔记 学习资料：http://speech.ee.ntu.edu.tw/~tlkagk/courses_MLDS18.html Review-Policy
Actor Critic
caoyongsheng的博客
07-04 869
我们有了像 Q-learning这么伟大的算法, 为什么还要瞎折腾出一个 Actor-Critic? 原来 Actor-Critic 的 Actor 的前生是 Policy Gradients, 这能让它毫不费力地在连续动作中选取合适的动作, 而 Q-learning 做这件事会瘫痪. 那为什么不直接用 Policy Gradients 呢? 原来 Actor Critic 中的 Critic 的...
【笔记2-4】李宏毅深度强化学习笔记（四）Actor-Critic
cindy_1102的博客
02-27 8437
李宏毅深度强化学习- Actor-CriticAsynchronous Advantage Actor-Critic (A3C)Review – Policy GradientReview – Q-LearningActor-CriticPathwise Derivative Policy Gradient 李宏毅深度强化学习课程 https://www.bilibili.com/video/a...
李宏毅深度强化学习入门笔记：强化学习简介
最新发布
暗o星
12-06 959
通过演示学习（Learning by Demonstration)，也称为模仿学习（Imitation Learning）、或学徒学习（Apprenticeship Learning）将 Network 看成一个函数，用来学习典型的监督学习任务。Agent 的 action 受到接收的序列数据的影响。
强化学习笔记【9】演员-评论家算法(Actor-Critic Algorithm)
qq_41030408的博客
08-07 1797
该系列主要是听李宏毅老师的《深度强化学习》过程中记下的一些听课心得，除了李宏毅老师的强化学习课程之外，为保证内容的完整性，我还参考了一些其他的课程，包括周博磊老师的《强化学习纲要》、李科浇老师的《百度强化学习》以及多个强化学习的经典资料作为补充。 使用说明 笔记【4】到笔记【11】为李宏毅《深度强化学习》的部分； 笔记 【1】和笔记【2】根据《强化学习纲要》整理而来； 笔记 【3】和笔记【12】根据《百度强化学习》整理而来。 演员-评论家算法(Actor-Critic Algorithm)是一...
actor-critic 相关算法简述
星海浮生
03-15 2513
asynchronous advantage actor-critic（A3C）；pathwise derivative policy gradient；actor-critic 与 GAN 的关系
机器学习与深度学习系列连载： 第三部分 强化学习（十六) 深度强化学习- Pathwise Derivative策略梯度
Doctor Wu的博客
12-09 2943
Pathwise Derivative策略梯度 我们在使用Critic（评估价值）的过程中，传统的方法只是给一个评估的值得大小，我们利用评估的值，采取增加倾向于评估值大的action的概率。 但是如果Critic不但给出对于action的评价，而且给出actor下一步的建议呢。（就像老师不但把我们作业批改了，然后还给出了怎么做好作业的建议，而传统的Critic知只是一个能给我们批改作业的老师，但...
机器学习-54-RL-06-Actor-Critic(强化学习-A2C,A3C,Pathwise Derivative Policy Gradient)
迷雾总会解
01-23 830
演员-评论家算法(Actor-Critic Algorithm)是一种结合策略梯度和时序差分学习的强化学习方法。在 Actor-Critic 算法 里面，最知名的方法就是 A3C(Asynchronous Advantage Actor-Critic)。
Actor-Critic网络
guojunwu1977的博客
03-08 1052
Actor-Critic方法是一种结合了策略梯度方法（actor）和值函数近似方法（critic）的强化学习算法。这种结构设计旨在结合两种方法的优点，通过使用critic来减少actor学习过程中的方差，从而提高学习的稳定性和效率。Actor-Critic算法在处理连续动作空间和高维状态空间的问题上特别有效，因此被广泛应用于各种复杂环境的强化学习任务中。
An Actor–Critic based controller for glucose regulation in type 1 diabetes
yxh的博客
10-10 643
a b s t r a c t \qquad 控制器基于Actor-Critic(AC)算法，受强化学习和最优控制理论（optimal control theory）的启发。控制器的主要特性是： 同时调整 胰岛素基础率 the insulin basal rate 和 大剂量 the bolus dose； 根据临床规程进行初始化； real-time personalization。 \qquad 所提出的方法的有效性利用 开环 和 闭环程序 在 silico 数据集中 adults, adole
Actor-Critic方法
qq_41903673的博客
03-23 2433
复习回顾： 是动作价值函数的期望，如果动作是离散的，则是图中连加的形式，如果动作是连续的，则会是积分形式。是策略函数，可以计算动作的概率值，从而控制agent做运动，是动作价值函数，可以评价动作的好坏程度。可惜策略函数和都不知道，于是需要用两个神经网络分别近似这两个函数，再用Actor-Critic方法同时学习这两个神经网络。 我们可以用策略网络 来近似策略函数，θ为策略网络的参数。我们用策略网络控制agent做运动，决策是由策略网络做的，所以策略网络也叫actor。相当于运动员。 用另一个神..
【Actor-Critic】演员评论家模型
weixin_46267823的博客
03-12 2031
本博客代码部分参考了基于值函数的方法（DQN）和基于策略的方法（REINFORCE），其中基于值函数的方法只学习一个价值函数，而基于策略的方法只学习一个策略函数。那么，一个很自然的问题是，有没有什么方法既学习价值函数，又学习策略函数呢？答案就是 Actor-Critic。Actor-Critic 是囊括一系列算法的整体架构，目前很多高效的前沿算法都属于 Actor-Critic 算法。
【强化学习】Actor-Critic
weixin_44378835的博客
09-24 1348
文章目录1 Actor-Critic1.1 前言1.2 Actor-Critic1.3 Advantage Actor-Critic1.4 Asynchronous Advantage Actor-Critic(A3C)1.5 Pathwise Derivative Policy Gradient(PDPG) 1 Actor-Critic Advantage Actor-Critic：A2C Asynchronous Advantage Actor-Critic：A3C 1.1 前言 由于Actor与En
如何在深度强化学习中结合Q-Learning和Actor-Critic方法来优化智能体的决策过程？
11-04
在深度强化学习的实践中，结合Q-Learning和Actor-Critic方法可以为智能体提供一个更加高效和稳定的决策框架。首先，建议您参阅《李宏毅深度强化学习：Q-Learning解析》这一资源，它详细解释了Q-Learning算法的工作原理以及如何在深度学习中应用这一算法。 参考资源链接：[李宏毅深度强化学习：Q-Learning解析](https://wenku.youkuaiyun.com/doc/4gsddjsse9?spm=1055.2569.3001.10343) 具体来说，要将Q-Learning与Actor-Critic方法结合起来，可以通过以下步骤进行： 1. 定义策略网络（Actor）和评价网络（Critic）。策略网络负责输出当前状态下应该采取的动作，而评价网络则负责估计当前策略的好坏，即状态价值函数。 2. 在训练过程中，Actor通过Critic提供的评价来更新策略，使其倾向于执行那些会导致较高价值状态的动作。这通常通过梯度上升来完成，以最大化Critic给出的预期回报。 3. 同时，Critic使用从环境得到的实际回报来更新其估计，通常是通过时间差分方法TD学习进行的。这里，Critic的目标是减少其预测的价值与实际从环境获得的价值之间的差异。 4. 使用经验回放缓冲区来存储智能体的经验，并在训练中对其进行采样。经验回放有助于打破样本之间的时间相关性，使得学习过程更加稳定。 5. 引入目标网络来进一步稳定学习过程。目标网络是评价网络的一个副本，它的参数以较慢的速度更新，以避免在学习过程中出现过大的波动。 通过这种方式，结合Q-Learning和Actor-Critic方法不仅提高了学习效率，还增强了智能体处理连续动作空间的能力。建议在进一步学习时，参考更多如蒙特卡洛方法、时间差分学习以及深度Q网络等技术的资料，以便更全面地掌握深度强化学习的理论和应用。 参考资源链接：[李宏毅深度强化学习：Q-Learning解析](https://wenku.youkuaiyun.com/doc/4gsddjsse9?spm=1055.2569.3001.10343)
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值