DQN若干种变型及实现

最新推荐文章于 2025-06-24 15:45:50 发布
原创 最新推荐文章于 2025-06-24 15:45:50 发布 · 4.5k 阅读 · 21 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#DQN #pytorch

本文探讨了DQN的不同变体，包括Nature DQN、Double DQN、Prioritized Experience Replay、Dueling DQN和DRQN。分别解释了它们的设计原理，如Nature DQN的延迟目标网络更新、Double DQN的选择与评估分离、PER的优先级重放策略，以及Dueling DQN的动作优势和值函数分离。此外，还提到了DRQN如何结合LSTM处理部分观测状态，并链接到相关的代码实现和资料。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

测试环境 gym cartPole-vo

代码实现

https://github.com/cuixuage/Reinforcement_Learning/tree/master/Pytorch_basic

1.Nature DQN
延迟target NetWork更新
相当于用前期一定步数的reward来计算当前真实值

2.Double DQN

为什么我测试效果不如DQN好?

https://blog.youkuaiyun.com/u010214210/article/details/53791315
https://zhuanlan.zhihu.com/p/38434432
目的:selection和evaluation分离,减少overestimation
如果Q函数估值不准，那么每次取max会引起高估，因此用两个Q网络来解决这个问题，一个网络选择最优的action，另一个网络对其估值
Current Q_NN is used to select actions
Older Q_NN is used to evaluate actions(固定次数回合后,delayed θ更新predict NN)

最低0.47元/天 解锁文章

200万优质内容无限畅学
Rainbow：集大成者的DQN变体
AI天才研究院
04-27 1262
深度强化学习（Deep Reinforcement Learning，DRL）自诞生以来，便凭借其强大的学习能力和广泛的应用场景，成为了人工智能领域的研究热点。在众多DRL算法中，深度Q网络（Deep Q-Network，DQN）因其简洁的结构和高效的性能，备受关注。然而，DQN也存在着一些局限性，例如过估计Q值、难以处理高维状态空间等问题。为了克服这些不足，研究人员们提出了许多DQN的变体，其中Rainbow便是集大成者之一。
一切皆是映射：使用神经网络自动化视频编辑
AI天才研究院
07-01 823
一切皆是映射：使用神经网络自动化视频编辑 作者：禅与计算机程序设计艺术 / Zen and the Art of Computer Programming 关键词：神经网络，自动视频编辑，视频剪辑，内容理解，风格迁移，个性化编辑 1. 背景介绍
DQN变体：DDQN
m0_37663944的博客
12-16 973
这篇文章，主要讨论DDQN。DQN的变体，它主要对yjy_jyj​的计算进行了解耦。 目标Q值的计算 在以前的DQN中yjy_jyj​的计算公式如下： yj=Rj+γmaxa′Q′(ϕ(Sj′),Aj′,w′)y_j = R_j+γmax_{a^′}Q^′(ϕ(S^′_j),A^′_j,w^′)yj​=Rj​+γmaxa′​Q′(ϕ(Sj′​),Aj′​,w′) 其中Aj′A^′_jAj′​是通过...
（4-2）DQN算法的进化演进：Dueling DQN算法
最新发布
码农三叔
06-24 1068
DuelingDQN是对传统DQN算法的改进，通过将价值网络拆分为状态价值函数和动作优势函数两个分支，最终相加得到Q值。这种方法提高了学习效率，特别是在动作收益相近的场景下。算法实现中，DuelingDQN采用共享特征层+双分支+合并层的三层结构，并通过均值归一化解决分解的非唯一性问题。实验表明，在网格导航任务中，DuelingDQN比传统DQN减少了11.36%的训练步数，收敛速度更快，状态价值估计更准确。可视化结果展示了两种算法在奖励、步数、价值函数和策略方面的差异，验证了DuelingDQN的优越性能
DQN的一些变体（改进）总结，如：Double DQN、Prioritized Experience Replay DQN等
lijieling123的博客
04-01 2311
王者荣耀最早也是基于DQN来实现智能体，后来改成PPO 引入Double DQN的前言 DQN总共有两个网络，一个是实时更新的评估网络，一个是阶段性更新的目标网络 目标Q值（即下个时刻的累积价值）的计算主要依赖目标网络，通过传入下个状态S(t+1)，来获取S(t+1)状态下最大的Q值以及对应的动作，从而完成Q函数的更新 但是无论是DQN还是QLearning，在计算价值函数的时候都采用了贪心策略，即每次都对（状态-动作）的实际价值进行了过高的估计，最终会影响到我们最后的决策 因此引入Double DQN，通
DQN变体：Nature DQN
m0_37663944的博客
12-16 558
这篇文章主要讨论DQN的变体，Nature DQN。 解决问题 它主要解决了DQN算法的一个问题，也就是相关依赖问题，收敛速度比较慢。 还记得计算当前目标QQQ值yjy_jyj​的公式是： yj={Rj  is_endj is trueRj+γmaxa′Q(ϕ(Sj′),Aj′,w)  is_endj is false...
DQN变体：Dueling DQN
m0_37663944的博客
12-17 1090
本篇文章主要讲解Dueling DQN的结构。 解决问题 对比之前的DQN,Dueling DQN主要对结构进行了优化。Dueling DQN考虑将QQQ网络分成两部分，第一部分是仅仅与状态S有关，与具体要采用的动作AAA无关，这部分我们叫做价值函数部分，记做V(S,w,α)V(S,w,α)V(S,w,α),第二部分同时与状态状态SSS和动作AAA有关，这部分叫做优势函数(Advantage Fu...
深度强化学习笔记01【Policy-Gradient/Actor-Critic/DQN/PPO】
zpz84761695的博客
08-15 454
本系列文为作者本人在学习过程中笔记，为本人复盘学习用，主观色彩浓厚，且仅适合对DRL有一定了解的人阅读！
深度学习：卷积神经网络从入门到精通
热门推荐
GitChat
03-28 2万+
内容简介 全面介绍各种卷积神经网络的模型、算法及应用，指导读者把握其形成和演变的基本脉络，以帮助读者在较短的时间内从入门达到精通的水平。有兴趣的读者可以从本书开始，通过图像分类、识别、检测和分割的案例，逐步深入卷积神经网络的核心，掌握深度学习的方法和精髓，领会 AlphaGo 战胜人类世界冠军的奥秘。 作者简介 李玉鑑（鉴） 北京工业大学教授，博士生导师。华中理工大学（现名为华中科技大学）本科毕...
libpng warning: tRNS: invalid with alpha channel libpng warning: tRNS: invalid with alpha channel libpng warning: tRNS: invalid with alpha channel libpng warning: tRNS: invalid with alpha channel libpng warning: tRNS: invalid with alpha channel Traceback (most recent call last): File "C:\Users\你爹\PyCharmMiscProject\DQN.py", line 248, in <module> main() File "C:\Users\你爹\PyCharmMiscProject\DQN.py", line 206, in main train(env,dqn) File "C:\Users\你爹\PyCharmMiscProject\DQN.py", line 141, in train a = dqn.choose_action(s, EPSILON) #选择动作 ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^ File "C:\Users\你爹\PyCharmMiscProject\DQN.py", line 76, in choose_action actions_value = self.eval_net.forward(x) #将场景输入Q估计神经网络 ^^^^^^^^^^^^^^^^^^^^^^^^ File "C:\Users\你爹\PyCharmMiscProject\DQN.py", line 54, in forward x=self.f1(x) ^^^^^^^^^^ File "D:\wdnmd\proteus\Proteus 8 Professional\Tools\Python\Lib\.venv\Lib\site-packages\torch\nn\modules\module.py", line 1751, in _wrapped_call_impl return self._call_impl(*args, **kwargs) ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^ File "D:\wdnmd\proteus\Proteus 8 Professional\Tools\Python\Lib\.venv\Lib\site-packages\torch\nn\modules\module.py", line 1762, in _call_impl return forward_call(*args, **kwargs) ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^ File "D:\wdnmd\proteus\Proteus 8 Professional\Tools\Python\Lib\.venv\Lib\site-packages\torch\nn\modules\linear.py", line 125, in forward return F.linear(input, self.weight, self.bias) ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^ RuntimeError: mat1 and mat2 shapes cannot be multiplied (1x900 and 100x16)
05-24
另一种可能性在于训练样本本身并未按既定规格准备妥当——也许是因为读取过程中出现了意外变形亦或是人为失误所致的缘故使得最终呈现出来的东西跟我们设想当中有所偏差罢了而已嘛哈~ 所以说咯，在正式投喂之前最好先...
深度学习十大算法！深度解剖让你了解！
d22800的博客
12-27 4387
深度学习是人工智能领域的一个重要分支，它通过模拟人脑神经网络的工作原理，实现对复杂数据的高效处理。本文将为大家介绍深度学习领域的十大经典算法，帮助大家更好地理解和应用深度学习技术。 1.卷积神经网络（CNN） 卷积神经网络（Convolutional Neural Networks，简称CNN）是一种专门用于处理具有类似网格结构的数据（如图像）的神经网络。CNN通过卷积层、池化层和全连接层等组件，实现了对图像的有效识别和分类。 首先我们来看看CNN的基本结构。一个常见的CNN例子如下图：
DeepMind提出Rainbow：整合DQN算法中的六种变体
机器之心
10-24 7511
「AlphaGo 之父」David Sliver 等人最近探索的方向转向了强化学习和深度 Q 网络（Deep Q-Network）。在 DeepMind 最近发表的论文中，研究人员整合了 DQN 算法中的六种变体，在 Atari 游戏中达到了超越以往所有方法的表现。 大规模强化学习（RL）在复杂连续决策问题中最成功的方法是 Deep Q-Network 算法（DQN; Mnih et a
【强化学习】DQN及其变体网络的原理讲解和代码实现
Henry_Zhao10的博客
08-29 2979
本文总结了强化学习中DQN网络及其变体的算法原理和代码实现，包括Double DQN，Dueling DQN等
Rainbow：结合多种改进的DQN变体
AGI×大数据，开启智能时代的认知跃迁；解码AGI，赋能数据驱动的智能革命。
05-06 199
深度强化学习 (DRL) 领域近年来取得了显著的进展，其中深度Q网络 (DQN) 算法及其变体发挥了关键作用。DQN 通过结合深度神经网络和 Q-learning 算法，能够有效地解决复杂的决策问题。然而，传统的 DQN 算法也存在一些局限性，例如过估计 Q 值、学习效率低下等。为了克服这些问题，研究人员提出了多种 DQN 变体，例如 Double DQN、Prioritized Experience Replay、Dueling DQN 等。
【百度飞桨强化学习7日打卡营】DQN解决MountainCar 不同 超参数“学习率”调参
bigdog2019的博客
06-27 1174
DQN解决MountainCar 不同 超参数“学习率”情况下的比较 【百度飞桨强化学习7日打卡营】作业3 DQN解决MountainCar 针对作业里面的超参数 “LEARNING_RATE” 选择进行了实际测试。 根据网络上所说的一些经验 一般学习率大的情况神经网络“学习”的会更快但是到一定程度后会难以继续提高成绩。学习率小则成绩提高慢但会持续提高。 实际动手测试发现在其他参数完全相同的情况下学习率的选择对成绩的影响并非那么简单。这里我们LEARNING_RATE选择了从小到大0.001, 0.002
DQN+LSTM——DRQN的简单解读与实现
m0_63642362的博客
11-17 1万+
简单讲解DQRN论文及其基本原理，并用paddle实现
论文阅读（DRQN）：Deep Recurrent Q-Learning for Partially Observable MDPs
weixin_45459911的博客
03-14 1834
简单概括该文： a、创新之处：提出QRQN结构：DQN+LSTM b、创新原因：DQN有两个缺陷——1、经验池内存有限制；2、每个决策点都需要完整的游戏界面。 c、改动措施：将DQN的第一个全连接层换成LSTM网络 Introduction： DQN只取了过去四帧（即四张图）作为输入，而如果游戏需要四帧以上的记忆，则将出现部分可观测马尔科夫性（Partially-Observable Markov...
【无标题】
sinat_50757558的博客
03-27 753
基于LSTM预测和深度强化学习的任务卸载在物联网中的高效边缘计算 摘要 在物联网边缘计算中，任务卸载会导致额外的传输延迟和传输能耗。为了降低任务卸载所需的资源成本，提高服务器资源的利用率，本文将任务卸载问题建模为一个成本最小化的联合决策问题，该问题综合了处理延迟、处理能耗和延迟敏感任务的任务抛出率。针对上述任务卸载决策问题，提出了基于深度强化学习（DRL）和长短时记忆（LSTM）网络的在线预测卸载（OPO）算法。在模型的训练阶段，该算法利用LSTM算法实时预测边缘服务器的负载，有效地提高了DRL算法在卸载过
深度强化学习之自动驾驶论文阅读（二）
qq_57104181的博客
08-20 727
主要步骤：1、使用缓冲器，所有以前的经验都存储在缓冲器重放中。2、下一个动作由Q函数的最大输出决定。3、损失函数是预测Q值的均方误差以及目标Q值。使用RGB图像作为输入不足以让智能体在随机驾驶环境中学习。这是因为从安装在ADV顶部的摄像头捕获的图像非常复杂。因此，由RGB图像、车辆速度和车辆与道路中心之间的角度组成的输入表示元组被公式化。所提出的DQN模型使用输入数据进行训练。LSTM和CNN（卷积神经网络）都用于将输入数据映射到由转向、制动和加速命令组成的动作。
DQN算法实现与深度Q学习介绍
资源摘要信息:"DQN算法是一种结合了深度学习和Q学习的强化学习算法。它在2013年由Volodymyr Mnih等人提出，被称为深度Q网络（Deep Q-Network）。DQN算法的出现极大地推动了强化学习在复杂环境中的应用，尤其是在处理...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值