强化学习(十二) Dueling DQN

最新推荐文章于 2024-08-07 23:49:42 发布
最新推荐文章于 2024-08-07 23:49:42 发布
阅读量1.2k 收藏 1
点赞数 1
CC 4.0 BY-SA版权
分类专栏： 手把手教你ML机器学习算法源码全解析
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/wenyusuran/article/details/98038002
本文详细介绍了Dueling DQN算法，这是一种通过优化神经网络结构来增强DQN性能的方法。Dueling DQN将Q网络分为价值函数和优势函数两部分，以提升对状态价值的评估。文章通过实例展示了Dueling DQN在CartPole-v0游戏中的应用，并提供了代码参考。

　　在强化学习(十一) Prioritized Replay DQN中，我们讨论了对DQN的经验回放池按权重采样来优化DQN算法的方法，本文讨论另一种优化方法，Dueling DQN。本章内容主要参考了ICML 2016的deep RL tutorial和Dueling DQN的论文<Dueling Network Architectures for Deep Reinforcement Learning>(ICML 2016)。

1. Dueling DQN的优化点考虑

　　　　在前面讲到的DDQN中，我们通过优化目标Q值的计算来优化算法，在Prioritized Replay DQN中，我们通过优化经验回放池按权重采样来优化算法。而在Dueling DQN中，我们尝试通过优化神经网络的结构来优化算法。

　　　　具体如何优化网络结构呢？Dueling DQN考虑将Q网络分成两部分，第一部分是仅仅与状态SS有关，与具体要采用的动作AA无关，这部分我们叫做价值函数部分，记做V(S,w,α)V(S,w,α),第二部分同时与状态状态SS和动作AA有关，这部分叫做优势函数(Advantage Function)部分,记为A(S,A,w,β)A(S,A,w,β),那么最终我们的价值函数可以重新表示为：

Q(S,A,w,α,β)=V(S,w

了解本专栏 订阅专栏 解锁全文
（4-2）DQN算法的进化演进：Dueling DQN算法
码农三叔
06-24 1390
DuelingDQN是对传统DQN算法的改进，通过将价值网络拆分为状态价值函数和动作优势函数两个分支，最终相加得到Q值。这种方法提高了学习效率，特别是在动作收益相近的场景下。算法实现中，DuelingDQN采用共享特征层+双分支+合并层的三层结构，并通过均值归一化解决分解的非唯一性问题。实验表明，在网格导航任务中，DuelingDQN比传统DQN减少了11.36%的训练步数，收敛速度更快，状态价值估计更准确。可视化结果展示了两种算法在奖励、步数、价值函数和策略方面的差异，验证了DuelingDQN的优越性能
强化学习：Dueling DQN 学习笔记
最新发布
只是个人学习笔记
06-30 877
Dueling DQN（竞争型深度 Q 网络）是 DQN 的重要改进，通过将 Q 值分解为状态价值函数（V）和优势函数（A），提高对状态价值和动作优势的建模能力。
改进DQN算法 Double DQN算法 DuelingDQN算法
oceancoco的博客
11-22 1524
第 8 章 DQN 改进算法 8.1 简介 DQN算法敲开了深度强化学习的大门，但是作为先驱性的工作，其本身存在着一些问题以及一些可以改进的地方。于是，在DQN之后，学术界涌现了非常多的改进算法。本章将介绍其中两个非常著名的算法：Double DQN和Dueling DQN，这两个算法的实现非常简单，只需要在DQN的基础上稍加修改，它们能在一定程度上改善DQN的效果。 8.2 Double DQN 普通的DQN算法通常会导致对Q值的过高估计（overestimate）。传统DQN优化的TD误差目标为 r+γ
强化学习总结（3）———Dueling-DQN
洗头冠军的博客
06-04 3083
上一篇总结了我对DQN的理解https://blog.youkuaiyun.com/qq_37553152/article/details/90812273 Dueling-DQN是对传统DQN的一种改进算法，它的核心思路是优化神经网络的结构。在传统DQN算法中，根据神经网络的输出确定每个动作Q值，然后选出最优的动作，其神经网络的大概模型如下图。 在Dueling-DQN中，对网络的输出层（图2-5...
强化学习--DQN
wangaolong0427的博客
04-18 1542
系列文章目录 强化学习 提示：写完文章后，目录可以自动生成，如何生成可参考右边的帮助文档 文章目录系列文章目录前言一、强化学习是什么？二、核心算法(深度强化学习) DQN1.什么是DQN?总结 前言 强化学习（Reinforcement Learning, RL），又称再励学习、评价学习或增强学习，是机器学习的范式和方法论之一，用于描述和解决智能体（agent）在与环境的交互过程中通过学习策略以达成回报最大化或实现特定目标的问题 。 一、强化学习是什么？ 强化学习是智能体（Agent）以“试错”的方式
深度强化学习-Dueling DQN算法原理与代码
热门推荐
weixin_46133643的博客
12-13 3万+
Dueling Deep Q Network(Dueling DQN)是对DQN算法的改进，有效提升了算法的性能。如果对DQN算法还不太了解的话，可以参考我的这篇博文：深度强化学习-DQN算法原理与代码，里面详细讲述了DQN算法的原理和代码实现。本文就带领大家了解一下Dueling DQN算法，论文链接见下方。 论文：http://proceedings.mlr.press/v48/wangf16.pdf 代码：后续会将代码上传到Github上... 1 Dueling DQN算法简介 Duelin
强化学习之Dueling DQN对DQN的改进——以倒立摆环境（Inverted Pendulum）为例
佚名
08-07 741
结论：相比传统的DQN，Dueing DQN在多个动作选择下的学习更加稳定，得到的回报最大值也更大，由Dueling DQN 原理知随着动作空间增大，Dueling DQN相比DQN优势更加明显。本实验中离散动作数设置为11，可以增加动作数（例如15,25,30等），继续对比实验，实验效果更为明显。通过前面的推导，我们得到了Dueling Network的数学形式为。当然我们可以改变网络结构，加大隐藏层数量， 更改神经网络结构如下所示。当然我们神经网络也可以写成如下形式，是等价的。6.训练DQN函数实现。
强化学习之Dueling DQN
小星AI
09-01 1408
注：本文续于《强化学习之DDQN》 Dueling DQN的思想是把神经网络中Q价值的输出分成两部分，第一部分是状态价值V，这部分价值由状态直接决定和Action无关。第二部分就是动作价值和状态价值的差值A，每一个Action都存在一个差值。这两部分构成了倒数第二层的神经网络，节点数为Action数+1。然后最后一层的Q值就可以直接由V和A相加构成。 Q=V+A Q = V + A Q=V+A Dueling DQN和DDQN唯一不同的地方是网络结构，因此修改程序时只需要修改Network类即可。这种计算结
强化学习--Dueling DQN
wangaolong0427的博客
04-23 830
系列文章目录 强化学习 提示：写完文章后，目录可以自动生成，如何生成可参考右边的帮助文档 文章目录系列文章目录前言一、强化学习是什么？二、核心算法(深度强化学习)Dueline DQN总结 前言 强化学习（Reinforcement Learning, RL），又称再励学习、评价学习或增强学习，是机器学习的范式和方法论之一，用于描述和解决智能体（agent）在与环境的交互过程中通过学习策略以达成回报最大化或实现特定目标的问题 。 一、强化学习是什么？ 强化学习是智能体（Agent）以“试错”的方式进行
dueldqn.pdf
09-02
关于duelingdqn的原始论文，适合初学者对深度强化学习duelingdqn的认识和了解
【蘑菇书】DuelingDQN
wq6qeg88的博客
08-02 786
DQN等算法中使用的是一个简单的三层神经网络：一个输入层，一个隐藏层和一个输出层。如下左图：而在Dueling DQN中，我们在后面加了两个子网络结构，分别对应上面上到价值函数网络部分和优势函数网络部分。对应上面右图所示。最终Q网络的输出由价值函数网络的输出和优势函数网络的输出线性组合得到。
Dueling DQN
JacobJiang的博客
07-07 617
论文链接：https://arxiv.org/pdf/1511.06581.pdf Dueling DQN 使用了一种新的神经网络结构。Dueling 网络有两个独立的估计量： 状态值函数的估计量 依赖状态的动作优势函数的估计量 这种分解的主要好处是在不改变底层强化学习算法的情况下，将学习泛化到多个动作。 定义了新的优势函数： 值函数 V 衡量的是特定状态 s 有多好，动作值函数 Q 衡量的是在这个状态下选择某一动作的值。优势函数是 Q 减去 V 的值，得到的是每个动作重要性的相对度量。 ...
算法学习（十二）——dueling DQN
星之所望的博客
03-02 2058
相比于原版的DQN，改进在于输出。 原本的DQN只在输出的时候按照动作数量，进行输出。 dueling DQN从常识出发，将输出分为价值函数和动作函数，价值函数输出一个实数，表示对当前局势的价值量，动作函数输出每个动作的价值。 这个改进并没有理论上的解释，就是单纯凑出来好用。 原版DQN网络的输出： def forward(self, x): x = self.conv1(x) x = self.conv2(x) x = self.co
深度强化学习 学术前沿与实战应用——Dueling DQN
weixin_40678580的博客
09-25 476
class DuelingDQN: def __init__(self, …, dueling = True, sess = None): #省略 self.dueling = dueling #省略 if sess is None: self.sess = tf.Session() self.sess.run(tf.global_variables_initializer()) ...
【强化学习】11 —— Double DQN算法与Dueling DQN算法
sinat_52032317的博客
10-30 9254
可以看到由于数据点的分布，使得拟合出的价值函数无法与真实的价值函数吻合，甚至在部分区域产生了明显的偏差。Dueling DQN 是 DQN 另一种的改进算法，它在传统 DQN 的基础上只进行了微小的改动，但却能大幅提升 DQN 的表现。这样，即使其中一套神经网络的某个动作存在比较严重的过高估计问题，由于另一套神经网络的存在，这个动作最终使用的值不会存在很大的过高估计问题。.在同一个状态下，所有动作的优势值之和为 0，因为所有动作的动作价值的期望就是这个状态的状态价值。环境的状态包括倒立摆角度的正弦值。
DuelingDQN:提高QLearning鲁棒性
AI天才研究院
04-12 606
DuelingDQN:提高Q-Learning鲁棒性 作者：禅与计算机程序设计艺术 1. 背景介绍 强化学习作为一种有效的机器学习方法,在诸多领域都有着广泛的应用,如游戏AI、机器人控制、自动驾驶等。其中,基于价值函数的Q-Learning算法是强化学习中最
深度探索：机器学习中的Dueling DQN算法原理及其应用
qq_51320133的博客
04-20 2098
Dueling DQN通过引入独特的Dueling Network架构，成功地将Q值分解为状态值函数和优势函数，有效提升了深度强化学习在复杂环境下的学习效率和性能。尽管存在一些局限性，如对特定Q值分解假设的依赖、优势函数估算难度等，但其在众多实际应用中展现出的强大能力，证明了该算法的有效性和实用性。未来的研究可进一步探究如何优化Dueling架构，适应更多样化的环境和任务，以及与其他强化学习技术（如元学习、模仿学习等）结合，推动深度强化学习的边界。
强化学习（实践）：DQN，Double DQN，Dueling DQN，格子环境
燕双嘤
04-21 5886
​ 以车杆（CartPole）环境为例，它的状态值就是连续的，动作值是离散的。在车杆环境中，有一辆小车，智能体的任务是通过左右移动保持车上的杆竖直，若杆的倾斜度数过大，或者车子离初始位置左右的偏离程度过大，或者坚持时间到达 200 帧，则游戏结束。智能体的状态是一个维数为 4 的向量，每一维都是连续的，其动作是离散的，动作空间大小为 2，详情参见表 7-1 和表 7-2。在游戏中每坚持一帧，智能体能获得分数为 1 的奖励，坚持时间越长，则最后的分数越高，坚持 200 帧即可获得最高的分数。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

文宇肃然

精神和物质鼓励你选一个吧

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值