A3C=value based+actor based

最新推荐文章于 2022-07-02 21:00:42 发布
最新推荐文章于 2022-07-02 21:00:42 发布
阅读量270 收藏 1
点赞数
CC 4.0 BY-SA版权
分类专栏： 强化学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/duyue3052/article/details/82701924
本文深入探讨A3C（Asynchronous Advantage Actor-Critic）算法，重点复习actor based部分，并介绍如何通过value based方法解决稳定性问题。文章讨论了在不同状态下采取行动的概率及其对总奖励（G）的影响，指出状态转移的不确定性带来的挑战，以及Q-learning作为解决方案的价值函数。通过Q函数网络输出的行为得分期望，更新actor策略，并介绍了参数共享和影分身训练等实际应用技巧。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

A3C文献

actor based复习

从右往左理解公式：在互动获取数据之后，在某个状态s采取行为a的概率，括号中是权重（越往后影响越低，有正有负），玩到底将所有的加起来得到G。计算梯度，更新actor的参数 

问题在于，某个状态s经过a之后的状态是一个分布，除非采样很多，不然极不稳定，而每个s的每个action的采样不可能很多

能不能估计期望值？所以有了value base的方法：Qlearning

之前是累计所有游戏中的某个state之中执行某个action a之后的轨迹得到G，进而更新 actor

现在将某个state之后所有可能的action的期望的G，形成一个critic

G的期望就是Q函数的网络输出，网络输出每个行为的得分期望（TD比较稳，MC比较精确）；之前是用得分期望更新网络参数，输出行为的概率，

 

用样本估计出v函数，或者Q函数就可以，获取新的agent（pi，其实这个action的获取也是一个网络），获取新的样本

实际使用的时候的技巧——参数共享

实际使用的技巧——影分身训练

 

强化学习算法学习汇总笔记 (二) — Actor Critic、DDPG、A3C、
Hansry的博客
06-27 9916
一. Actor Critic 1.基本概念 Actor Critic 为类似于Policy Gradient 和 Q-Learning 等以值为基础的算法的组合。 a. 其中Actor 类似于Policy Gradient，以状态s为输入，神经网络输出动作actions，并从在这些连续动作中按照一定的概率选取合适的动作action。 b. Critic 类似于 Q-Learning 等以...
深度强化学习算法 A3C （Actor-Critic Algorithm）
滴墨成殇的博客
11-12 2692
对于 A3C 算法感觉自己总是一知半解，现将其梳理一下，记录在此，也给想学习的小伙伴一个参考。 　　想要认识清楚这个算法，需要对 DRL 的算法有比较深刻的了解，推荐大家先了解下 Deep Q-learning 和 Policy Gradient 算法。 　　我们知道，DRL 算法大致可以分为如下这几个类别：Value Based and Policy Based，其经典算法分别为：Q-lea...
如何理解A3C算法
12-03
如何理解深度强化学习基本概念：value-based，policy-based，off-policy，on-policy。以及A3C算法
actor-based programming与构建大规模扩展性的并行系统
weixin_34059951的博客
03-28 153
1.actor-based programming actor based 类似于object based ，但是它比object 多了自己的message queue 和message processor、message handler 也就是说一个actor是一个独立的处理单元，但是他不是真正的物理上的thread 可以看成是轻量级的thread。 一个actor可以给另一...
Actor-Based Programming
专心-超越
06-21 831
http://msdn.microsoft.com/en-us/magazine/ff959205.aspx
【RL】--Value-Based与Policy-Based的区别
xgyyxs的博客
12-03 9433
1. 生成policy上的差异：一个随机，一个确定 Value-Base 中的 action-value估计值最终会收敛到对应的true values（通常是不同的有限数，可以转化为0到1之间的概率），因此通常会获得一个确定的策略（deterministic policy） Policy-Based不会收敛到一个确定性的值，另外他们会趋向于生成optimal stochastic policy。如...
A3C的算法原理和算法流程
caoyongsheng的博客
03-22 1万+
在强化学习(十四) Actor-Critic中，我们讨论了Actor-Critic的算法流程，但是由于普通的Actor-Critic算法难以收敛，需要一些其他的优化。而Asynchronous Advantage Actor-critic(以下简称A3C)就是其中比较好的优化算法。本文我们讨论A3C的算法原理和算法流程。 　　　　本文主要参考了A3C的论文，以及ICML 2016的deep RL...
深度强化学习之Policy Gradient & Actor-Critic Model & A3C
I AM BACK
01-12 7471
policy gradient actor-critic A3Cpolicy gradient在之前的DQN是进行value function的approximation，是value-vased RL。这次要讲的是policy-based RL。对于RL的policy直接进行参数表示：比如可以输入state（一幅图片，一个feature vector），然后由带有参数的某种算法（比如linear
莫烦强化学习笔记整理（七）Actor Critic，DDPG，A3C概述
lxs3213196的博客
11-13 2490
莫烦强化学习笔记整理（七）Actor Critic，DDPG，A3C概述1、Actor Critic概述2、DDPG概述（1）Deep（2）Deterministic Policy Gradient（3）DDPG神经网络3、A3C概述（1）平行训练（2）多核训练 1、Actor Critic概述 Actor Critic是强化学习中的一种结合体, 它合并了 以值为基础 (比如 Q learning) 和 以动作概率为基础 (比如 Policy Gradients) 两类强化学习算法。 Actor-Crit
一文读懂 深度强化学习算法 A3C （Actor-Critic Algorithm）
a1424262219的博客
12-25 2757
一文读懂 深度强化学习算法 A3C （Actor-Critic Algorithm） 2017-12-25 16:29:19 　　对于 A3C 算法感觉自己总是一知半解，现将其梳理一下，记录在此，也给想学习的小伙伴一个参考。 　　想要认识清楚这个算法，需要对 DRL 的算法有比较深刻的了解，推荐大家先了解下 Deep Q-learning 和 Policy Gra...
[A3C]:算法原理详解
syc1220的博客
05-29 1万+
深度强化学习框架使用异步梯度下降来优化深度神经网络控制器。提出了四种标准强化学习算法的异步变体，并证明并行actor-learners在训练中具有稳定作用，使得四种方法都能成功地训练神经网络控制器。
（深入理解）强化学习中的policy-based和value-based区别是什么？
qq_43391414的博客
12-03 5998
想要知道区别，我们得先知道他们分别是怎么做的。 value-based:输入s，输出Q(s,a) policy-based：输入s，输出p(s,a) 不但如此，还有区别 value-based:输入s，输出Q(s,a)后，我们要选一个动作。其选取方法是： 训练时使用epsilon-greedy（有一定探索） 测试时使用argmax Q(s,a)（确定），也就是1-greedy（确定）。 policy-based：输入s，输出p(s,a)后，我们要选一个动作。其选取方法是： 训练时根据概率p(s,a)选
深度强化学习——A3C
草帽BOY的博客
06-13 5万+
异步的优势行动者评论家算法（Asynchronous Advantage Actor-Critic，A3C）是Mnih等人根据异步强化学习（Asynchronous Reinforcement Learning， ARL） 的思想，提出的一 种轻量级的 DRL 框架，该框架可以使用异步的梯度下降法来优化网络控制器的参数，并可以结合多种RL算法。
【强化学习】Actor-Critic算法详解
热门推荐
shura的技术空间
06-22 10万+
https://morvanzhou.github.io/tutorials/machine-learning/reinforcement-learning/6-1-actor-critic/ http://www0.cs.ucl.ac.uk/staff/d.silver/web/Teaching.html 【强化学习】Actor-Critic详解 之前在强化学习分类中，我们...
value-based 与 policy-based区别
weixin_42522567的博客
07-02 664
value-based 代表算法：sarsa、Q-learning、DQN1、直接输出Q值，根据Q值选择动作2、当把Q网络训练到一定程度后，Q网络收敛，输入相同状态，得到相同动作。属于确定性策略policy-based 算法1、输出每个动作的概率值，然后随机选择动作2、即便把网络训练到收敛，相同状态，也可能得到不同动作，属于随机策略...
中科院自动化所介绍深度强化学习进展：从AlphaGo到AlphaGo Zero
人工智能学家
01-31 1万+
来源：德先生概要：2016年初，AlphaGo战胜李世石成为人工智能的里程碑事件。其核心技术深度强化学习受到人们的广泛关注和研究，取得了丰硕的理论和应用成果。深度强化学习进展:  从AlphaGo到AlphaGo Zero唐振韬, 邵坤, 赵冬斌 , 朱圆恒中国科学院 自动化研究所 复杂系统管理与控制国家重点实验室, 北京 100190中国科学院大学, 北京 100190摘要: 2016年初，Al
Policy Gradient 和 Value based 方法的区别
hnshahao的专栏
10-08 8096
[Value Based 方法] (1) Value based的方法的背景知识 对于MDP, S,A,P,R,r来说，首先是定义了value function, V(s)和Q(s,a), 在有了value function的定义以后，就可以得到 Optimal value Optimal policy 然后又引出了Bellman Equation，Bellman Equa...
在强化学习领域最受欢迎的A3C算法，DDPG算法，PPO算法等都是AC框架
caoyongsheng的博客
07-14 2万+
AC算法框架被广泛应用于实际强化学习算法中，该框架集成了值函数估计算法和策略搜索算法，是解决实际问题时最常考虑的框架。大家众所周知的alphago便用了AC框架。而且在强化学习领域最受欢迎的A3C算法，DDPG算法，PPO算法等都是AC框架。我们这一讲便总结下AC算法的发展并介绍目前最受关注的A3C算法和PPO算法。本讲的内容包括：1.1 策略梯度的直观解释1.2 Actor-Critic框架引出...
Dopamine 使用教程
duyue3052的博客
09-06 6339
简介 基本信息介绍 现有的 RL 框架并没有结合灵活性和稳定性以及使研究人员能够有效地迭代 RL 方法，并因此探索可能没有直接明显益处的新研究方向。所以Google推出一个基于 Tensorflow 的框架，旨在为 RL 的研究人员提供灵活性、稳定性和可重复性。此版本还包括一组阐明如何使用整个框架的 colabs。 精简的代码（大约 15 个Python 文件）。通过专注于 Arcade 学...
if len(actor)==2: count1=wordsList.count(actor[0]) count2=wordsList.count(actor[1]) dictActors[actor[0]]=count1+count2 else: count1=wordsList.count(actor[0]) dictActors[actor[0]]=count1+count2
06-12
这段代码中，假设actor是一个包含1个或2个元素的列表，wordsList是一个包含多个元素的列表。代码的作用是统计wordsList中出现actor中元素的总次数，并将结果存储在一个名为dictActors的字典中。 首先判断actor的...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值