Double DQN缓解动作价值的高估问题

最新推荐文章于 2025-03-17 23:32:33 发布
原创 最新推荐文章于 2025-03-17 23:32:33 发布 · 264 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#python #机器学习 #开发语言

本文介绍了DeepQ-Network(DQN)算法，包括使用策略选择和目标网络进行评价，以及DoubleDQN的实现，涉及计算当前状态和动作的Q值、损失函数等内容。

1、算法：

Selection using DQN：
a⋆=argmax⁡aQ(st+1,a;w). a^{\star}=\operatorname*{argmax}_{a}Q(s_{t+1},a;\mathbf{w}). a⋆=aargmax​Q(st+1​

最低0.47元/天 解锁文章
（4-1-01）DQN算法的进化演进：Double DQN（双重深度Q网络）（1）
码农三叔
06-22 1130
DQN算法改进综述 DQN算法在发展中通过三种关键技术解决稳定性和估计偏差问题。DoubleDQN采用双网络架构分离动作选择和价值评估，有效降低了Q值过估计；DuelingDQN通过解耦状态价值和动作优势优化了价值函数表示；Prioritized Experience Replay则通过重要性采样提高了关键经验的利用率。这些改进被组合应用于Atari游戏等复杂任务，显著提升了算法性能，推动了强化学习的发展。其中，DoubleDQN的核心创新在于使用独立的目标网络评估Q值，避免了单一网络的双重角色带来的高估偏
PADDLE③-②DQN理论+代码实践解析
x234230751的博客
04-10 660
在更新过程中，只更新评估网络的权重，而不更新目标网络的权重。在更新一定次数后，再将评估网络的权重复制给目标网络，进而进行下一批更新，这样目标网络也能得到更新。由于在目标网络没有变化的一段时间内回报的估计是相对固定的，因此目标网络的引入增加了学习的稳定性。从存储的角度来看，经验回放可以分为集中式回放和分布式回放：集中式回放：智能体在一个环境中运行，把经验统一存储在经验池中。1.在训练Q网络时，可以打破数据之间的相关性，使得数据满足独立同分布，从而减小参数更新的方差，提高收敛速度。用一个人工神经网络来代替Q。
深度强化学习-Dueling DQN算法原理与代码
weixin_46133643的博客
12-13 3万+
Dueling Deep Q Network(Dueling DQN)是对DQN算法的改进，有效提升了算法的性能。如果对DQN算法还不太了解的话，可以参考我的这篇博文：深度强化学习-DQN算法原理与代码，里面详细讲述了DQN算法的原理和代码实现。本文就带领大家了解一下Dueling DQN算法，论文链接见下方。 论文：http://proceedings.mlr.press/v48/wangf16.pdf 代码：后续会将代码上传到Github上... 1 Dueling DQN算法简介 Duelin
dueling-dqn
war3gu的博客
05-28 833
在许多基于视觉的感知的DRL任务中，不同的状态动作对的值函数是不同的，但是在某些状态下，值函数的大小与动作无关。根据以上思想，Wang等人提出了一种竞争网络结构（dueling network）作为DQN的网络模型。 如上图所示，第一个模型是一般的DQN网络模型，即输入层接三个卷积层后，接两个全连接层，输出为每个动作的Q值。 而（第二个模型）竞争网络（dueling net）将卷积层提取的抽象特征...
对Dueling DQN理论的深度分析。
qq_33328642的博客
12-13 4197
优势函数A(s,a)用于度量在状态s下执行动作a的合理性，它直接给出动作a的性能与所有可能的动作的性能的均值的差值。如果该差值(优势)大于0，说明动作a优于平均，是个合理的选择；如果差值(优势)小于0，说明动作 a 次于平均，不是好的选择。度量状态s下的动作a的性能最合适的形式就是动作值函数（即Q函数）Qπ(s,a)；而度量状态s所有可能动作的性能的均值的最合适形式是状态值函数（即V函数） Vπ(s,a) 。
【强化学习】11 —— Double DQN算法与Dueling DQN算法
sinat_52032317的博客
10-30 9375
可以看到由于数据点的分布，使得拟合出的价值函数无法与真实的价值函数吻合，甚至在部分区域产生了明显的偏差。Dueling DQN 是 DQN 另一种的改进算法，它在传统 DQN 的基础上只进行了微小的改动，但却能大幅提升 DQN 的表现。这样，即使其中一套神经网络的某个动作存在比较严重的过高估计问题，由于另一套神经网络的存在，这个动作最终使用的值不会存在很大的过高估计问题。.在同一个状态下，所有动作的优势值之和为 0，因为所有动作的动作价值的期望就是这个状态的状态价值。环境的状态包括倒立摆角度的正弦值。
深度强化学习系列(9): Dueling DQN原理及实现
深度强化学习(DeepRL)探索博客
03-20 7994
本文是DeepMind发表于ICML2016顶会的文章（获得Best Paper奖），第一作者Ziyu Wang（第四作Hado Van Hasselt就是前几篇文章#Double Q-learning#，Double DQN的作者），可以说DeepMind开创了DQN系列算法(后续阐述OpenAI的策略梯度算法)。往常一样，摘要结论。 其实本文提出的算法并没有过多的数学过程，而是一种网络结构...
强化学习系列（3）：深度Q网络的改进（Double DQN、Dueling DQN等）
Azperk的博客
03-13 1080
在传统的DQN中，由于目标Q值的计算方式，容易出现对Q值的高估问题。这是因为在选择动作和计算目标Q值时都使用了目标网络中对Q值的估计，可能会导致选择到被高估的动作，从而使得训练不稳定，最终影响策略的学习效果。
深度强化学习中的Double-DQN：解决Q值过估计的革新方法
最新发布
weixin_73605337的博客
03-17 1140
Double-DQN通过解耦动作选择与价值评估，有效缓解了DQN的Q值过估计问题，成为深度强化学习中的基础改进算法。其简洁的实现方式与显著的性能提升，使其成为Atari、机器人控制等任务的首选框架。未来，随着与分布强化学习（Distributional RL）、元学习等技术的结合，Double-DQN有望在更复杂的决策场景中持续发挥核心作用。
动手学强化学习笔记-Double DQN
qq_73355475的博客
09-18 739
普通的DQN算法通常会导致对Q值的过高估计，原因是Q值的估计以及动作的选取采用了同一套神经网络，而神经网络在估算Q值时本身会产生正向或负向的误差，而拟合的误差在参数更新时并未得到修正，比如说状态s下所有动作的Q值均为0，而神经网络拟合时出现了某些动作价值估计有正误差的情况，即存在某个动作a使得Q（s,a）>0，此时我们的更新目标就出现了过高估计，r+γmaxQ>r+0，那么此时Q(s,a)就被过高估计了，而我们之后也会拿这个Q值去更新上一步的Q值，这样子误差就逐步累积了。，目标网络的参数记为。
强化学习-李宏毅-算法02：DQN（Deep Q-Learning Network）【Deep Learning Network + Q-Learning 】
u013250861的博客
01-06 9071
DQN（Deep Q-Learning Network）可谓是深度强化学习（Deep Reinforcement Learning，DRL）的开山之作，是将深度学习与强化学习结合起来从而实现从感知（Perception）到动作（ Action ）的端对端（End-to-end）学习的一种全新的算法。由DeepMind在NIPS 2013上发表1，后又在Nature 2015上提出改进版本2。 - DQN（Deep Q-Learning Network）创新点： 1. 基于Q-Learning构造Loss
【蘑菇书】DuelingDQN
wq6qeg88的博客
08-02 804
DQN等算法中使用的是一个简单的三层神经网络：一个输入层，一个隐藏层和一个输出层。如下左图：而在Dueling DQN中，我们在后面加了两个子网络结构，分别对应上面上到价值函数网络部分和优势函数网络部分。对应上面右图所示。最终Q网络的输出由价值函数网络的输出和优势函数网络的输出线性组合得到。
强化学习—— Target Network & Double DQN（解决高估问题，overestimate）
Cyrus_May的博客
04-10 2704
强化学习—— Target Network & Double DQN（解决高估问题，overestimate）1TD算法2. 高估问题2.1 Maximization2.1.1 数学解释2.1.2 动作价值函数的高估2.2 Bootstrapping2.3 高估是否有害3. 高估的解决方案3.1 Target Network3.1.1 Target Network的结构3.1.2 学习方式3.2 Double DQN4. 总结 1TD算法 TD Target：yt=rt+maxaQ(st+1,a
【强化学习】为什么DQN存在Q值高估问题？请从原理和例子上进行详细解释，1500字
wq6qeg88的博客
08-09 1824
DQN（Deep Q-Network）是深度强化学习领域中的一种重要算法，它通过将深度学习方法与Q学习结合来解决高维状态空间中的强化学习问题。DQN在许多应用场景中取得了显著的成果，但它也存在一些问题，其中最突出的一个就是Q值高估问题。下面将详细解释Q值高估问题的原理及其例子，并讨论解决这一问题的方法。
强化学习DQN、DDQN和Dueling DQN的原理介绍与PARL核心代码解析
热门推荐
秋水中的鱼的博客
07-23 3万+
摘要 本文主要介绍DQN算法的基本原理，以及在它基础上改进的DDQN和Dueling DQN，介绍完后会结合对应的PARL代码进行解析说明（PARL 是一个高性能、灵活的强化学习框架）。 三篇相关的论文地址如下，接下去的三个小节会围绕这三篇论文的重点部分进行剖析。 DQN：Human-level Control Through Deep Reinforcement Learning DDQN：Deep Reinforcement Learning with Double Q-learning Dueling
强化学习之Dueling DQN
小星AI
09-01 1411
注：本文续于《强化学习之DDQN》 Dueling DQN的思想是把神经网络中Q价值的输出分成两部分，第一部分是状态价值V，这部分价值由状态直接决定和Action无关。第二部分就是动作价值和状态价值的差值A，每一个Action都存在一个差值。这两部分构成了倒数第二层的神经网络，节点数为Action数+1。然后最后一层的Q值就可以直接由V和A相加构成。 Q=V+A Q = V + A Q=V+A Dueling DQN和DDQN唯一不同的地方是网络结构，因此修改程序时只需要修改Network类即可。这种计算结
算法学习（十二）——dueling DQN
星之所望的博客
03-02 2063
相比于原版的DQN，改进在于输出。 原本的DQN只在输出的时候按照动作数量，进行输出。 dueling DQN从常识出发，将输出分为价值函数和动作函数，价值函数输出一个实数，表示对当前局势的价值量，动作函数输出每个动作的价值。 这个改进并没有理论上的解释，就是单纯凑出来好用。 原版DQN网络的输出： def forward(self, x): x = self.conv1(x) x = self.conv2(x) x = self.co
深度强化学习——Dueling-DDQN
草帽BOY的博客
06-13 3万+
深度双Q网络（DDQN）和基于竞争构架Q网络（Dueling-DQN）都是DQN的改进版本，前者是对DQN训练算法的改进，后者是对DQN模型结构的改进。
double dqn路径规划
03-13
### Double DQN在路径规划中的应用 #### 应用背景 深度强化学习(DRL)，特别是Deep Q-Networks (DQN), 已经被证明能够有效地处理复杂的决策过程，在机器人路径规划领域展现出巨大潜力。当引入Double Q-learning机制改进标准DQN成为Double DQN之后，该算法通过减少过估计问题提高了性能稳定性[^1]。 #### 双重优势于路径规划 利用Double DQN进行路径规划可以带来两个主要好处：一是提升了模型训练效率和质量；二是增强了策略的稳定性和泛化能力。具体来说，Double DQN采用两套神经网络分别评估动作价值函数并从中选取最优行动方案，从而有效缓解了传统单网结构容易产生的高估偏差现象[^2]。 #### 实现方式概述 为了使Double DQN适用于具体的路径规划场景，通常需要完成如下几个方面的设计： - **状态空间定义**：根据实际应用场景确定机器人的感知范围及其所能获取的信息作为输入特征向量。 - **奖励函数构建**：合理设置即时奖励来引导智能体朝着目标前进的同时避开障碍物或其他不利因素的影响。 - **经验回放池管理**：保存过去经历过的交互数据以便后续采样更新参数时使用，这有助于打破时间序列关联性提高样本利用率。 - **探索与利用平衡**：采取适当的方法如ε-greedy策略控制随机探索程度确保既不会陷入局部极值也不会完全丧失发现更好解的机会。 ```matlab % 初始化环境及相关变量 env = createEnvironment(); % 创建模拟器实例 stateSize = getObservationSpace(env); % 获取观测维度大小 actionSize = getActionSpace(env); % 动作集合数量 agentOptions = rlDDPGAgentOptions(); agent = rlDDQNAgent(stateSize, actionSize, agentOptions); % 训练循环 numEpisodes = 500; for episodeIdx=1:numEpisodes observation = reset(env); done = false; while ~done action = selectAction(agent,observation); [nextObs,reward,done]=step(env,action); experience = Experience(observation,action,reward,nextObs,done); storeExperience(replayBuffer,experience); if sizeOf(replayBuffer)>batchSize miniBatch = sampleMiniBatch(replayBuffer,batchSize); trainNetwork(miniBatch); end observation = nextObs; end end ``` 上述MATLAB伪代码展示了如何基于给定环境中实施一次完整的Double DQN训练流程，其中包含了初始化阶段、迭代过程中不断调整权重直至收敛的核心逻辑。
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

KPer_Yang

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值