李宏毅教授A3C课程笔记总结

最新推荐文章于 2024-12-06 14:25:50 发布
原创 最新推荐文章于 2024-12-06 14:25:50 发布 · 737 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#强化学习 #总结笔记

本文总结了李宏毅教授的A3C课程，A3C是一种强化学习算法，优于DQN，包括On-policy和Off-policy策略。Actor负责选择行动，Critic评估策略，两者结合形成Advantage Actor-Critic。通过异步更新加速学习，解决连续动作空间的探索问题。此外，文章还讨论了Q-learning、DQN及其改进版Double DQN和Dueling DQN，以及与GAN的对比。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

A3C (Asynchronous Advantage Actor-Critic)

远优于DQN

 

Alpha go用到了model-based的方法

 

On-policy：学习的agent和与环境互动的agent是同一个

Off-policy：学习的agent和与环境互动的agent是不同的

注意学习的agent和交互的agent之间的差别不能太大

 

Actor：是一个神经网络，输入是观察observation，输出是action

可以为连续值

 

衡量actor：expected total reward期望回报累加值(因为即使是相同的actor，每次得到的回报还是不同：①面对同样的画面，随机策略会导致结果不同；②即使是确定性策略，环境也有可能是随机的)

 

Actor的梯度更新：提升正向回报的几率，降低负值回报的几率，这里的回报值采用的是累计回报值而不是即时回报

 

Critic：评估actor π的好坏

MC方法/TD方法

最低0.47元/天 解锁文章

200万优质内容无限畅学
李宏毅2020机器学习课程笔记（三）- CNN、半监督学习、RNN
⚡
08-13 5389
包含李宏毅机器学习视频P17-P23的课程梗概
breakout-ai:AI使用LSTM-A3C玩Breakout
03-21
突围 AI使用LSTM-A3C玩Breakout
A3C学习笔记
qq_43280087的博客
07-21 499
由AC到A3CActor-Critic(AC)参考 Actor-Critic(AC) Actor-Critic是基于Policy-Gradient的。 在AC基础上有了A2C和A3C，具体介绍： 强化学习AC、A2C、A3C算法原理与实现！ A3C策略参数的梯度更新和Actor-Critic相比，增加了策略 π\piπ的熵（entropy）项，因此参数的更新变成了 熵的求解：当神经网络输出 μ\muμ和方差 σ\sigmaσ后，会通过建立一个服从正态分布的概率分布来输出具体的action。entropy就是
【李宏毅深度强化学习笔记】6、Actor-Critic、A2C、A3C、Pathwise Derivative Policy Gradient
ACL_lihan的博客
01-28 8199
【李宏毅深度强化学习笔记】1、策略梯度方法（Policy Gradient） 【李宏毅深度强化学习笔记】2、Proximal Policy Optimization (PPO) 算法 【李宏毅深度强化学习笔记】3、Q-learning（Basic Idea） 【李宏毅深度强化学习笔记】4、Q-learning更高阶的算法 【李宏毅深度强化学习笔记】5、Q-learning用于连续动作 (N...
A3C-LSTM:在CartPole OpenAI Gym环境中测试了A3C-LSTM算法
05-08
使用长期短期记忆网络（A3C-LSTM）的异步优势参与者关键算法的实现 重要说明：此处显示的模型无法在此环境下收敛。 要查看融合模型，请查看 从Arthur 可在此处找到论文： 在测试 要求 和 。 用法 训练仅在大于30的小批量上进行，有效地防止了表现不佳的事件影响训练。 奖励因素用于以更快的学习速度进行有效的训练。 每100集会保存一次模型。 通过将全局参数中的任何一个设置为True，可以重新加载它们以进行进一步的培训，也可以对其进行可视化以进行测试。 这只是测试A3C-LSTM实现的示例代码。 这不应该被认为是在这种环境下学习的最佳方式！
rl_a3c_pytorch, A3C LSTM Atari与Pytorch加3g设计.zip
10-09
rl_a3c_pytorch, A3C LSTM Atari与Pytorch加3g设计 新增加的3g A3G新的gpu/cpu架构，以大大加速训练 ！ A3C Pytorch 新添加的3g ！利用GPU提高训练速度的A3C新实现。 我们可以拨打 3g电话。 它的他版本的A3C相反，每个代理都有自己的
李宏毅深度强化学习入门笔记：强化学习简介
最新发布
暗o星
12-06 873
通过演示学习（Learning by Demonstration)，也称为模仿学习（Imitation Learning）、或学徒学习（Apprenticeship Learning）将 Network 看成一个函数，用来学习典型的监督学习任务。Agent 的 action 受到接收的序列数据的影响。
李宏毅2022深度学习与机器学习笔记（一）
weixin_58112990的博客
11-14 1247
梯度下降：首先假设函数只有一个未知参数w，然后随机选取一个初始值w0，然后计算函数在w0的导数，然后更新w0得到w1，然后计算函数在w1点处的导数，然后更新w1得到w2，然后一次类推，不断的迭代更新参数w，直到在某一点w处的函数的导数等于0，或者预先设置了一个迭代次数，达到了这个迭代次数，就停止更新w的值，也许会存在局部最小值的情况，但是线性模型当中不存在这个问题。有了训练数据之后，需要评估一个函数的好坏，也就是一组参数的好坏，对于损失函数LOSS来说，输入是一组参数，输出表示这一组参数有多么的坏。
【第九周】李宏毅机器学习笔记07：Transformer
qq_30043925的博客
08-25 2405
这周主要了解了 transformer 中的 encoder 和 decoder 的结构和实现原理。在 decoder 中学习了两种解码的方法，一种是 AT （Autoregressive Transformer） ，另一种是NAT（Non-Autoregressive Transformer）。其中，AT生成序列质量高但速度较慢，而NAT则以牺牲部分质量换取更快的生成速度。最后还学习了如何训练 transformer 以及训练中的小 tips。
强化学习 —— （4）A3C
Mortal's blog
04-20 387
1. Policy Gradient的不足 在Policy Gradient中，提到，Policy Gradient 算法在计算Reward时需要对数据进行采样： 在采样的过程中，有很大的随机性，不太稳定。那么，能不能直接通过估计GtnG_t^nGtn​的期望值，使用期望值来代替sample的值，这样可以保证稳定性。 2. 改进方法 Actor-Critic 的 Actor 的前生是 Polic...
深度增强学习（DRL）漫谈 - 从AC（Actor-Critic）到A3C（Asynchronous Advantage Actor-Critic）
热门推荐
世事难料，保持低调
06-04 5万+
原文地址：http://blog.youkuaiyun.com/jinzhuojun/article/details/72851548 前言 之前在文章《深度增强学习（DRL）漫谈 - 从DQN到AlphaGo》扯了一些关于DRL的内容，但因为是以DQN为主线，其中大部分谈的是value-based方法。我们知道传统增强学习（Reinforcement learning, RL）中除了value-ba
【大规模深度强化学习(一) 】深度强化学习中的异步方法(A3C)
小小何先生的学习之旅
02-29 1246
论文题目：Asynchronous Methods for Deep Reinforcement Learning 所解决的问题？   在强化学习算法中agent所观测到的data是 non-stationary和strongly correlated的。通过设置memory的方式可以 reduces non-stationarity and decorrelates updates，但是会...
强化学习：随机策略梯度，AC家族（AC，A2C，A3C）
燕双嘤
03-29 8048
根据策略是随机策略还是确定性策略，分为策略梯度方法（SPG，用PG表示）和确定性策略梯度方法（DPG）。因为，随机策略梯度方法（SPG）存在学习率难以确定的问题，就有了置信域策略优化（TRPO），它能够确定一个使得回报函数单调不减的最优步长。确定性策略梯度方法（DPG）使用的是线性函数逼近行为值函数和确定性策略，如果将线性函数扩展到非线性函数——深度神经网络，就有了深度确定性策略梯度方法（DDPG）。
论文笔记之A3C
Ton的博客
01-18 4057
A2C是一个很好的policy-based框架，是一种on-policy算法。但是由于其Critic部分是一个输入信号连续的nn，有神经网络基础的应该知道，这样的网络是学不到东西的。根据A2C中Actor的更新公式，既然Advantage Function估计不准确，那么Actor中θ\thetaθ的更新就更糟糕了。换句话说，由于输入相关性太大，导致Critic网络收敛不稳定，进而导致A2C算法收敛效果差。 因此，接下去就得想办法打破输入的相关性。故A2C之后，存在2大方向，一个是DDPG，采用经验回放池打
深度学习（四十一）——深度强化学习（4）A2C & A3C, DDPG
antkillerfarm的专栏
03-02 9840
A2C & A3C Actor-Critic一般简称AC算法。针对它的一般用法参见《机器学习（三十五）》。 AC算法也可用于DRL领域，具体的做法和DQN类似： 一个Actor网络，用来近似V值。 一个Critic网络，用来近似Q值。 这里有个小技巧： Actor网络和Critic网络可以共享网络参数，两者仅最后几层使用不同结构和参数。（参见下图A3C的图） 针对AC的改进，衍...
在强化学习领域最受欢迎的A3C算法，DDPG算法，PPO算法等都是AC框架
caoyongsheng的博客
07-14 2万+
AC算法框架被广泛应用于实际强化学习算法中，该框架集成了值函数估计算法和策略搜索算法，是解决实际问题时最常考虑的框架。大家众所周知的alphago便用了AC框架。而且在强化学习领域最受欢迎的A3C算法，DDPG算法，PPO算法等都是AC框架。我们这一讲便总结下AC算法的发展并介绍目前最受关注的A3C算法和PPO算法。本讲的内容包括：1.1 策略梯度的直观解释1.2 Actor-Critic框架引出...
基础算法篇（八），异步强化学习方法与A3C
samurasun的博客
09-27 3415
这一篇，我们介绍一种全新的强化学习方法，称为“异步”强化学习方法。首先，这里没有用算法（algorithm）而是用方法（method），是因为这里提供的是一种与前面相关算法相兼容的新的实现思路，而不是本身在算法方面的革新。其次，我们看“异步”这个词，它已经很明确的表示了这个方法的特点，简单来说，其实就是将“并行”的思路代入前面我们提到的各种value-based或policy-based方法中。 具体的细节，请参考DeepMind的论文：Asynchronous Methods for Deep Reinf
A3C代码详解
庞琳卓的博客
05-19 9502
莫烦大神的A3C连续控制代码详解 """ Asynchronous Advantage Actor Critic (A3C) with continuous action space, Reinforcement Learning. The Pendulum example. View more on my tutorial page: https://morvanzhou.github.io/
李宏毅机器学习系列-强化学习之Actor-Critic
王伟王胖胖的博客
09-04 1273
李宏毅机器学习系列-强化学习之Actor-Critic回顾策略梯度回顾Q-LearningActor-CriticActor-Critic小贴士Asynchronous Advantage Actor-Critic (A3C)Pathwise Derivative Policy Gradient总结 回顾策略梯度 回顾下我们前面讲的基于策略的梯度是怎么样的，中间会有一项是优势函数，会有个从某个时刻...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值