深度强化学习 | 详解过估计现象与Double DQN算法(附Pytorch实现)

最新推荐文章于 2025-03-05 07:47:20 发布
最新推荐文章于 2025-03-05 07:47:20 发布
阅读量3.6k 收藏 57
点赞数 91
分类专栏： 运动规划实战进阶：深度强化学习篇 文章标签： pytorch 人工智能 深度学习 ROS 强化学习 自动驾驶 神经网络
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/FRIGIDWINTER/article/details/145951765
版权

目录

  • 0 专栏介绍
  • 1 过估计现象案例说明
  • 2 双深度Q网络原理
  • 3 Pytorch算法实现

0 专栏介绍

本专栏以贝尔曼最优方程等数学原理为根基，结合PyTorch框架逐层拆解DRL的核心算法(如DQN、PPO、SAC)逻辑。针对机器人运动规划场景，深入探讨如何将DRL与路径规划、动态避障等任务结合，包含仿真环境搭建、状态空间设计、奖励函数工程化调优等技术细节，旨在帮助读者掌握深度强化学习技术在机器人运动规划中的实战应用

🚀详情：《运动规划实战精讲：深度强化学习篇》

1 过估计现象案例说明

无论Q-Learning还是DQN都存在过估计(overestimation)现象，过估计会导致智能体倾向于选择被高估的动作，可能陷入局部最优策略，降低学习效率和最终性能。例如，在复杂环境中，智能体可能反复选择某个次优动作，

了解本专栏 订阅专栏 解锁全文
双Q网络:解决DQN过估计问题
AGI×大数据，开启智能时代的认知跃迁；解码AGI，赋能数据驱动的智能革命。
04-06 573
强化学习(Reinforcement Learning，简称RL)是机器学习的一个重要分支,在游戏、机器人控制、自然语言处理等领域都有广泛应用。其中,深度强化学习(Deep Reinforcement Learning)通过结合深度学习和强化学习,在解决复杂问题上取得了令人瞩目的成就。深度Q网络(Deep Q-Network，简称DQN)是深度强化学习中一个经典的算法。它利用深度神经网络来逼近Q函数,从而解决强化学习中的状态-动作值函数估计问题。
强化学习算法：深度 Q 网络 (DQN) 原理与代码实例讲解
AI天才研究院
09-06 1108
强化学习算法：深度 Q 网络 (DQN) 原理与代码实例讲解 1. 背景介绍 1.1 问题的由来 在探索与学习领域，强化学习（Reinforcement Learning, RL）是研究智能体（agent）如何在环境中学
Q-Learning中的Q值为何会被过估计？（即Double-DQN解决了什么问题）
Passenger54621465的博客
07-08 1735
由图（1），在马尔科夫决策过程中： 由公式（1）和公式（2），可以简写成v(s) = E[q(s, a)]，q(s, a) = E[r + v(s’)]，合并得到v(s) = E[r + v(s’)]和q(s, a) = E[r + E[q(s’, a’)]]，即q值的更新是根据下个状态q值的均值来更新的，并不是通过下个状态最大的q值来更新的。 再来看Q-Learning更新Q值的公式： 对于一个3x3大小的地图，Q表格的维度是9x4，即9个状态，每个状态又有4个Q值，共36个Q值。Q-Lear.
动手学强化学习笔记-Double DQN
qq_73355475的博客
09-18 623
普通的DQN算法通常会导致对Q值的过高估计，原因是Q值的估计以及动作的选取采用了同一套神经网络，而神经网络在估算Q值时本身会产生正向或负向的误差，而拟合的误差在参数更新时并未得到修正，比如说状态s下所有动作的Q值均为0，而神经网络拟合时出现了某些动作价值估计有正误差的情况，即存在某个动作a使得Q（s,a）>0，此时我们的更新目标就出现了过高估计，r+γmaxQ>r+0，那么此时Q(s,a)就被过高估计了，而我们之后也会拿这个Q值去更新上一步的Q值，这样子误差就逐步累积了。，目标网络的参数记为。
（10-5）强化推荐学习：双重深度 Q 网络算法
码农三叔
03-24 2408
DQN 在训练过程中存在一些问题，其中一个主要问题是对目标 Q 值的估计过于乐观。DQN使用同一个神经网络进行当前状态的 Q 值估计和目标 Q 值的估计，这会导致估计的 Q 值偏高，因为在更新 Q 值时使用了同一个网络的输出。DDQN通过引入目标网络（Target Network）来解决这个问题。目标网络是一个与主网络（Policy Network）相互独立的网络，用于计算目标 Q 值。在训练过程中，目标网络的参数是固定的，而主网络的参数进行更新。这样可以减少估计目标 Q 值时的过高估计问题。
Q-learning算法
qq_34619572的博客
05-26 673
缺点： 在估计动作价值的时候包含了“选取最大估计”的步骤，所以在学习的过程中可能会导致过估计，特别是DQN算法。如果这种过估计不均匀或者没有集中在想要了解的状态上，就会产生负面的影响。 ...
深度强化学习 | 详解过估计现象与Double DQN算法（附Pytorch实现）
最新发布
威哥说编程
03-05 820
在深度强化学习的过程中，过估计现象是导致Q学习不稳定的一个主要原因。过估计现象是指在Q值的更新过程中，由于在目标Q值计算时选择了最大Q值，导致某些Q值被高估。例如，当目标Q值计算时，选择了Q值较高的动作作为估计值，但实际上这些值并不一定是最优的。随着训练的进行，这种高估计的Q值会传递到更新过程中，导致整个Q网络的估计偏差。为了解决这一问题，**Double DQN（DDQN）**算法应运而生，本文将深入探讨过估计现象的原因及Double DQN算法的解决方案，并附上Pytorch实现代码。
一切皆是映射：DQN的改进算法：从Double DQN到Dueling DQN
AI天才研究院
10-02 1166
随着人工智能技术的飞速发展，深度强化学习（Deep Reinforcement Learning，DRL）成为了一个热门的研究方向。DRL通过将深度学习技术与强化学习相结合，使智能体能够在复杂的决策环境中自主学习和决策。其中，深度Q网络（Deep Q-Network，DQN）是DRL领域的一个重要算法，它通过神经网络近似值函数，实现了智能体在环境中的决策过程。然而，DQN在训练过程中存在一些问题，如样本方差较大、经验回放（Experience Replay）不充分等。
深度强化学习调参技巧：以DQN、DDPG、TD3、PPO、SAC等算法为例
丨汀、的博客
07-14 2766
深度强化学习调参技巧：以D3QN、DDPG、TD3、PPO、SAC算法为例
Double DQN（Double Deep Q-Network）算法详解
jun778895的博客
01-05 314
Double DQN，作为深度强化学习中的经典算法之一，是对传统DQN（Deep Q-Network）算法的改进，旨在解决DQN在估计Q值时存在的过高估计问题。目标Q值计算：对于每个抽取的经验（s, a, r, s’），使用Q1选择下一个状态的最优动作a’=argmax_a’ Q1(s’, a’)，并使用Q2计算该动作的Q值Q2(s’, a’)。在Double DQN中，选择最优动作的网络（记为Q1）用于根据当前状态选择最优动作a，而估计Q值的网络（记为Q2）则用于计算该动作的Q值Q2(s, a)。
Double-DQN笔记
qq_41696858的博客
06-27 498
double-dqn是dqn比较著名的变种，他主要解决的一个问题是在之前的DQN公式中，我们用网络估计出来的Q值比Q值的实际值要高很多，也就是著名的过估计问题。 先说一下什么是过估计，看过张斯俊大神这一篇的就会知道 https://zhuanlan.zhihu.com/p/109498587 Q值最最最保真的值，也就是他的定义式，应该是由这个动作引发的直接一步后续所有可能状态的期望，但是我们不可能说等到所有状态都迭代好了以后再去求这个Q值。 所以在Q-Learning阶段我们就选用了下一个state最大Q值
Double DQN——解决DQN中的过估计问题
CristianoC
07-23 2821
文章目录1.前言2.算法2.1更新方法2.2 记录Q值2.3对比结果 1.前言 本篇教程是基于Deep Q network(DQN)的教程，缩减了在DQN方面的介绍，着重强调Double DQN和DQN的不同之处。 接下来我们说说为什么会有Double DQN这种算法，所以我们从Double DQN相对于Natural DQN（传统DQN）的优势说起。 一句话概括，DQN基于Q-Learning，...
dueling dqn 和 double dqn_Double DQN——解决DQN中的过估计问题
weixin_39585463的博客
11-27 774
注：RL系列皆是莫烦教程的学习笔记，笔者仅做记录。1.前言本篇教程是基于Deep Q network(DQN)的教程，缩减了在DQN方面的介绍，着重强调Double DQN和DQN的不同之处。接下来我们说说为什么会有Double DQN这种算法，所以我们从Double DQN相对于Natural DQN（传统DQN）的优势说起。一句话概括，DQN基于Q-Learning，Q-Learning中有Q...
强化学习之DQN进阶的三大法宝（Pytorch）
Ton的博客
12-21 9230
三大法宝： ①：DDQN：改变Nature DQN中TD目标值中a'的产生方式。 ②：Prioritizedexperiencereply：改变从经验池采样的方式。 ③：Dueling DQN：改变网络结构 本文将通过理论+实战结合的方式总结DQN与三大法宝的功能。 为了阐述清楚三种方式的各自优势：实战部分不选用NIPS DQN作为基础网络，而是用Nature DQN（后面简称DQN）。在DQN的基础上分别加上三大法宝，采用控制变量法，在同一个实验环境：Gym的MountainCar...
高估问题以及解决方法
qq_41903673的博客
03-28 1192
两个原因： 1.计算TD target时，用到了最大化，造成计算的结果比真实值要大。 2.用高估的结果再去更新自己，在网络中一次次循环过程，该最大化会越来越大，导致高估。 DQN的高估是非均匀的，而这种非均匀的高估是有害的，因为不能选出最优的动作。 DQN的高估是非均匀的，原因如下： DQN一般从队列中选取一个transition四元组去更新w，而TD target已经是对真实价值的高估，TD算法鼓励DQN的预测接近，但是已经是高估的，那么DQN这么做就会把DQN对的估计值给推高，s和a的..
Nature DQN为什么会存在过估计？
OsgoodWu的博客
12-28 5372
谈到过估计(overestimate)问题的时候，我们需要先交代一下背景，现在训练神经网络的时候，不是一张图一张图的进行训练，我们是通过一个batch一个batch去训练，每个batch里面包含了N张图，所以经常在看到别的网络参数的时候会有一个batch size的参数。 假设N=32，就是32张图分别经过CNN网络计算，然后计算出32个Loss，然后会把这32个Loss求和或者求平均转换成1个L
深度强化学习系列(5): Double Q-Learning原理详解
热门推荐
深度强化学习(DeepRL)探索博客
12-05 1万+
论文地址： https://papers.nips.cc/paper/3964-double-q-learning.pdf 本论文是由DeepMind发表于2015年NIPS的一篇论文，作者Hasselt。 前言： Q-Learning算法由于受到大规模的动作值过估计(overestimation)而出现不稳定和效果不佳等现象的存在，而导致overestimation的主要原因来自于最大化值函...
Double Deep Q Network 算法
段智华的博客
11-09 1996
Deep Q Network 算法：直接从下一个状态的Q目标值，选择动作概率的最大值。 （Y值通过Q目标值的一张网络计算） Double Deep Q Network 算法：计算下一个状态的Q评估值的最大值,然后从下一个状态的Q目标值,选择动作q_next。 （Y值通过Q评估值、Q目标值的双网计算） 符号： ：表示Q目标值神经网络（target_net）的网络参数 ： 表示...
DQN算法为什么会引起高估动作值
06-09
DQN算法在训练过程中，采用了一个epsilon-greedy策略来选择动作，即以一定概率随机选择动作，以一定概率选择当前状态下具有最高Q值的动作。在初期训练时，由于Q值尚未收敛，epsilon-greedy策略能够帮助探索更多的状态和动作，有助于提高算法的收敛速度和性能。但是在后期训练时，由于Q值已经收敛，epsilon-greedy策略可能会导致算法高估某些动作的Q值。 具体来说，当Q值函数收敛时，epsilon-greedy策略中的贪心选择会选择具有最高Q值的动作，但是由于噪声的存在，有时会出现一些高估的Q值。这些高估的Q值会使得贪心选择更倾向于选择这些动作，进一步增加它们的Q值。这种现象被称为“过估计”（overestimation），它可能导致算法收敛到一个次优的策略，甚至无法收敛。 为了解决这个问题，DQN算法的改进版本（如Double DQN、Dueling DQN等）采用了一些技术来减少过估计现象，例如使用两个Q值函数，选择动作时使用一个Q值函数来评估动作的价值，使用另一个Q值函数来更新目标Q值，从而减少高估的影响。这些改进使得DQN算法更加稳定并且收敛速度更快。
评论 9
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Mr.Winter`

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值