李宏毅教授A3C课程笔记总结

最新推荐文章于 2024-12-06 14:25:50 发布
最新推荐文章于 2024-12-06 14:25:50 发布
阅读量739 收藏 1
点赞数
CC 4.0 BY-SA版权
分类专栏： 强化学习笔记 文章标签： 强化学习 总结笔记
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/weixin_42825220/article/details/97297546
本文总结了李宏毅教授的A3C课程，A3C是一种强化学习算法，优于DQN，包括On-policy和Off-policy策略。Actor负责选择行动，Critic评估策略，两者结合形成Advantage Actor-Critic。通过异步更新加速学习，解决连续动作空间的探索问题。此外，文章还讨论了Q-learning、DQN及其改进版Double DQN和Dueling DQN，以及与GAN的对比。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

A3C (Asynchronous Advantage Actor-Critic)

远优于DQN

 

Alpha go用到了model-based的方法

 

On-policy：学习的agent和与环境互动的agent是同一个

Off-policy：学习的agent和与环境互动的agent是不同的

注意学习的agent和交互的agent之间的差别不能太大

 

Actor：是一个神经网络，输入是观察observation，输出是action

可以为连续值

 

衡量actor：expected total reward期望回报累加值(因为即使是相同的actor，每次得到的回报还是不同：①面对同样的画面，随机策略会导致结果不同；②即使是确定性策略，环境也有可能是随机的)

 

Actor的梯度更新：提升正向回报的几率，降低负值回报的几率，这里的回报值采用的是累计回报值而不是即时回报

 

Critic：评估actor π的好坏

MC方法/TD方法

最低0.47元/天 解锁文章

200万优质内容无限畅学
李宏毅2020机器学习课程笔记（三）- CNN、半监督学习、RNN
⚡
08-13 5395
包含李宏毅机器学习视频P17-P23的课程梗概
breakout-ai:AI使用LSTM-A3C玩Breakout
03-21
突围 AI使用LSTM-A3C玩Breakout
A3C学习笔记
qq_43280087的博客
07-21 499
由AC到A3CActor-Critic(AC)参考 Actor-Critic(AC) Actor-Critic是基于Policy-Gradient的。 在AC基础上有了A2C和A3C，具体介绍： 强化学习AC、A2C、A3C算法原理与实现！ A3C策略参数的梯度更新和Actor-Critic相比，增加了策略 π\piπ的熵（entropy）项，因此参数的更新变成了 熵的求解：当神经网络输出 μ\muμ和方差 σ\sigmaσ后，会通过建立一个服从正态分布的概率分布来输出具体的action。entropy就是
【李宏毅深度强化学习笔记】6、Actor-Critic、A2C、A3C、Pathwise Derivative Policy Gradient
ACL_lihan的博客
01-28 8204
【李宏毅深度强化学习笔记】1、策略梯度方法（Policy Gradient） 【李宏毅深度强化学习笔记】2、Proximal Policy Optimization (PPO) 算法 【李宏毅深度强化学习笔记】3、Q-learning（Basic Idea） 【李宏毅深度强化学习笔记】4、Q-learning更高阶的算法 【李宏毅深度强化学习笔记】5、Q-learning用于连续动作 (N...
A3C-LSTM:在CartPole OpenAI Gym环境中测试了A3C-LSTM算法
05-08
使用长期短期记忆网络（A3C-LSTM）的异步优势参与者关键算法的实现 重要说明：此处显示的模型无法在此环境下收敛。 要查看融合模型，请查看 从Arthur 可在此处找到论文： 在测试 要求 和 。 用法 训练仅在大于30的小批量上进行，有效地防止了表现不佳的事件影响训练。 奖励因素用于以更快的学习速度进行有效的训练。 每100集会保存一次模型。 通过将全局参数中的任何一个设置为True，可以重新加载它们以进行进一步的培训，也可以对其进行可视化以进行测试。 这只是测试A3C-LSTM实现的示例代码。 这不应该被认为是在这种环境下学习的最佳方式！
rl_a3c_pytorch, A3C LSTM Atari与Pytorch加3g设计.zip
10-09
rl_a3c_pytorch, A3C LSTM Atari与Pytorch加3g设计 新增加的3g A3G新的gpu/cpu架构，以大大加速训练 ！ A3C Pytorch 新添加的3g ！利用GPU提高训练速度的A3C新实现。 我们可以拨打 3g电话。 它的他版本的A3C相反，每个代理都有自己的
李宏毅深度强化学习入门笔记：强化学习简介
最新发布
暗o星
12-06 875
通过演示学习（Learning by Demonstration)，也称为模仿学习（Imitation Learning）、或学徒学习（Apprenticeship Learning）将 Network 看成一个函数，用来学习典型的监督学习任务。Agent 的 action 受到接收的序列数据的影响。
李宏毅2022深度学习与机器学习笔记（一）
weixin_58112990的博客
11-14 1249
梯度下降：首先假设函数只有一个未知参数w，然后随机选取一个初始值w0，然后计算函数在w0的导数，然后更新w0得到w1，然后计算函数在w1点处的导数，然后更新w1得到w2，然后一次类推，不断的迭代更新参数w，直到在某一点w处的函数的导数等于0，或者预先设置了一个迭代次数，达到了这个迭代次数，就停止更新w的值，也许会存在局部最小值的情况，但是线性模型当中不存在这个问题。有了训练数据之后，需要评估一个函数的好坏，也就是一组参数的好坏，对于损失函数LOSS来说，输入是一组参数，输出表示这一组参数有多么的坏。
【第九周】李宏毅机器学习笔记07：Transformer
qq_30043925的博客
08-25 2414
这周主要了解了 transformer 中的 encoder 和 decoder 的结构和实现原理。在 decoder 中学习了两种解码的方法，一种是 AT （Autoregressive Transformer） ，另一种是NAT（Non-Autoregressive Transformer）。其中，AT生成序列质量高但速度较慢，而NAT则以牺牲部分质量换取更快的生成速度。最后还学习了如何训练 transformer 以及训练中的小 tips。
强化学习 —— （4）A3C
Mortal's blog
04-20 389
1. Policy Gradient的不足 在Policy Gradient中，提到，Policy Gradient 算法在计算Reward时需要对数据进行采样： 在采样的过程中，有很大的随机性，不太稳定。那么，能不能直接通过估计GtnG_t^nGtn​的期望值，使用期望值来代替sample的值，这样可以保证稳定性。 2. 改进方法 Actor-Critic 的 Actor 的前生是 Polic...
深度增强学习（DRL）漫谈 - 从AC（Actor-Critic）到A3C（Asynchronous Advantage Actor-Critic）
热门推荐
世事难料，保持低调
06-04 5万+
原文地址：http://blog.youkuaiyun.com/jinzhuojun/article/details/72851548 前言 之前在文章《深度增强学习（DRL）漫谈 - 从DQN到AlphaGo》扯了一些关于DRL的内容，但因为是以DQN为主线，其中大部分谈的是value-based方法。我们知道传统增强学习（Reinforcement learning, RL）中除了value-ba
【大规模深度强化学习(一) 】深度强化学习中的异步方法(A3C)
小小何先生的学习之旅
02-29 1246
论文题目：Asynchronous Methods for Deep Reinforcement Learning 所解决的问题？   在强化学习算法中agent所观测到的data是 non-stationary和strongly correlated的。通过设置memory的方式可以 reduces non-stationarity and decorrelates updates，但是会...
论文笔记之A3C
Ton的博客
01-18 4067
A2C是一个很好的policy-based框架，是一种on-policy算法。但是由于其Critic部分是一个输入信号连续的nn，有神经网络基础的应该知道，这样的网络是学不到东西的。根据A2C中Actor的更新公式，既然Advantage Function估计不准确，那么Actor中θ\thetaθ的更新就更糟糕了。换句话说，由于输入相关性太大，导致Critic网络收敛不稳定，进而导致A2C算法收敛效果差。 因此，接下去就得想办法打破输入的相关性。故A2C之后，存在2大方向，一个是DDPG，采用经验回放池打
强化学习：随机策略梯度，AC家族（AC，A2C，A3C）
燕双嘤
03-29 8077
根据策略是随机策略还是确定性策略，分为策略梯度方法（SPG，用PG表示）和确定性策略梯度方法（DPG）。因为，随机策略梯度方法（SPG）存在学习率难以确定的问题，就有了置信域策略优化（TRPO），它能够确定一个使得回报函数单调不减的最优步长。确定性策略梯度方法（DPG）使用的是线性函数逼近行为值函数和确定性策略，如果将线性函数扩展到非线性函数——深度神经网络，就有了深度确定性策略梯度方法（DDPG）。
浅谈利用强化学习A3C玩转超级玛丽奥
qq_35914625的博客
12-08 3656
浅谈利用A3C玩转超级玛丽奥前言github什么是Actor-Critic？A3C算法loss值计算 前言 很早以前看过超级玛丽奥利用人工智能玩，以前感觉很高档。就写一篇吧。 github 什么是Actor-Critic？ Actor-Critic，其实是用了两个网络：两个网络有一个共同点，输入状态S: 一个输出策略，负责选择动作，我们把这个网络成为Actor； 一个负责计算每个动作的分数，我们把这个网络成为Critic。 大家可以形象地想象为，Actor是舞台上的舞者，Critic是台下的评委。Acto
[A3C]:算法原理详解
syc1220的博客
05-29 1万+
深度强化学习框架使用异步梯度下降来优化深度神经网络控制器。提出了四种标准强化学习算法的异步变体，并证明并行actor-learners在训练中具有稳定作用，使得四种方法都能成功地训练神经网络控制器。
深度学习（四十一）——深度强化学习（4）A2C & A3C, DDPG
antkillerfarm的专栏
03-02 9851
A2C & A3C Actor-Critic一般简称AC算法。针对它的一般用法参见《机器学习（三十五）》。 AC算法也可用于DRL领域，具体的做法和DQN类似： 一个Actor网络，用来近似V值。 一个Critic网络，用来近似Q值。 这里有个小技巧： Actor网络和Critic网络可以共享网络参数，两者仅最后几层使用不同结构和参数。（参见下图A3C的图） 针对AC的改进，衍...
在强化学习领域最受欢迎的A3C算法，DDPG算法，PPO算法等都是AC框架
caoyongsheng的博客
07-14 2万+
AC算法框架被广泛应用于实际强化学习算法中，该框架集成了值函数估计算法和策略搜索算法，是解决实际问题时最常考虑的框架。大家众所周知的alphago便用了AC框架。而且在强化学习领域最受欢迎的A3C算法，DDPG算法，PPO算法等都是AC框架。我们这一讲便总结下AC算法的发展并介绍目前最受关注的A3C算法和PPO算法。本讲的内容包括：1.1 策略梯度的直观解释1.2 Actor-Critic框架引出...
主流强化学习算法论文综述：DQN、DDPG、TRPO、A3C、PPO、SAC、TD3
te_sun的博客
04-03 2万+
强化学习自从15年开始DQN的成功应用得到了雨后春笋般成长，获得学术界极高的关注。在此之间，强化学习主要以model based模型为主，其特点为问题针对性强，需要大量的人为假设，且对于不同问题需要特定的模型套入。而现在开始model free的模型有极大的通用性，一个算法吃遍天下所有任务，因此也提高了之间的可比较性，也促成了学术界的井喷。主流的两个思路为Q-learning和Policy gra...
台大李宏毅2017机器学习课程笔记概览
台大李宏毅教授的机器学习讲义提供了对这一领域全面而深入的介绍，本讲义不仅涉及了机器学习的基础理论，也涵盖了多种机器学习方法和技术。 首先，讲义中提到的机器学习的三个基本组成部分：函数集、评价函数和训练...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值