《强化学习导论》之doubleQ-Learning的理解

最新推荐文章于 2025-09-26 10:00:00 发布
原创 最新推荐文章于 2025-09-26 10:00:00 发布 · 2.5k 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#强化学习 #双Q学习 #doubleQLearning #q-learning

本文深入探讨了Q学习中最大化偏差的来源，分析了求取最大值步骤可能导致的不准确性，并解释了通过解耦动作和值来减少这种偏差的方法。同时，提到了在优化过程中使用待优化元素进行max操作带来的潜在问题。

在这里插入图片描述
在这里插入图片描述我的理解是这个最大化偏差来源于Q学习中的求取的最大化这个步骤可能得到的值不准确。然后这个期望，我觉得是讲动作和值解耦，然后从E的表达式来看，求得期望就是从另一个Q得到的动作的期望，默认第一个Q学到的是最大动作，然后第二个Q只求期望。两个没有干扰

同时，在周博磊的视频课程中，也可以认识到，因为我们采取的max这个操作的时候，用的还是待优化的东西，因此不是很准确，有偏差。

强化学习-Double Q-learning
全网120W+关注AI拉呱，专注人工智能以及科技前沿！
12-10 950
论文地址： https://arxiv.org/pdf/1509.06461.pdf 本文是Google DeepMind于2015年12月提出的一篇解决Q值"过估计(overestimate)"的文章，作者Hado van Hasselt在其2010年发表的Double Q-learning算法工作的基础上结合了DQN的思想，提出了本文的state-of-the-art的Double DQN算法。给出了过估计的通用原因解释和解决方法的数学证明，最后在Atari游戏上有超高的分数实验表现。 正常论文的.
《Python星球日记》 第84天：Q-Learning 与 DQN
Code_流苏：在代码中寻诗意，在实践中觅真知
05-16 1246
《Python星球日记》 第84天：Q-Learning 与 DQN，今天我们将深入探索强化学习中两个核心算法：Q-Learning和Deep Q-Network (DQN)。这两种方法是解决顺序决策问题的强大武器，从简单的迷宫寻路到复杂的游戏AI，都能发挥重要作用。让我们一起踏上这段学习旅程吧！
论文笔记之Double Q-learning
Ton的博客
02-04 3340
经典的Q-learning算法因为目标策略的取max步骤使得Q估计值存在过估计现象。Q(s,a)估计的不准确会导致Agent表现力很差，比如原本2个真值Q(s,a0)>Q(s,a1)Q(s,a_0)>Q(s,a_1)Q(s,a0​)>Q(s,a1​)，但过估计可能会使得收敛时他们的估计值Q(s,a0)<Q(s,a1)Q(s,a_0)<Q(s,a_1)Q(s,a0​)<Q(s,a1​)。那么根据贪心策略，会出现次优策略。 为了解决过估计这个糟糕的问题，2010年Hassel
双重机器学习DML（代码+案例+注释）
最新发布
2501_91959248的博客
09-26 444
例如，研究者可以使用DML来评估某一政策变化对经济指标的影响，或者分析市场干预措施对消费者购买行为的改变。DML通过正交化技术解决了传统机器学习在因果推断中的偏差问题，使得研究者能够在控制混淆变量的同时，准确地估计出核心参数。双重机器学习（Double Machine Learning, DML）是一种结合了机器学习和因果推断的统计方法，它在经济管理领域有着广泛的应用。本数据以一个双重机器学习的案例展开，展示了双重机器学习的使用方法。文件包含python代码和markdown注释文件。
Deep Reinforcement Learning with Double Q-learning论文分享.pdf
05-16
The popular Q-learning algorithm is known to overestimate action values under certain conditions. It was not previously known whether, in practice, such overestimations are common, whether they harm performance, and whether they can generally be prevented. In this paper, we answer all these questions affirmatively. In particular, we first show that the recent DQN algorithm, which combines Q-learning with a deep neural network, suffers from substantial overestimations in some games in the Atari 2600 domain. We then show that the idea behind the Double Q-learning algorithm, which was introduced in a tabular setting, can be generalized to work with large-scale function approximation. We propose a specific adaptation to the DQN algorithm and show that the resulting algorithm not only reduces the observed overestimations, as hypothesized, but that this also leads to much better performance on several games.
Double Q-learning
小蚂蚁与大象
09-01 2381
在一些随机环境中，著名的强化学习算法Q-learning表现非常糟糕。这种糟糕的性能是由对动作值的过高估计造成的。这些过高估计是由于引入了正偏差，因为Q-learning使用最大动作值作为最大期望动作值的近义词。将双估计器应用到Q-learning中，构建了一种新的非策略强化学习算法double Q-learning。本文表明，新算法收敛于最优策略，并且在一些由于q学习的高估而表现不佳的情况下，它表现良好。本文表明，由于对动作值的过大估计，Q-learning在随机mdp中的性能可能很差。
深度强化学习系列(5): Double Q-Learning原理详解
热门推荐
深度强化学习(DeepRL)探索博客
12-05 1万+
论文地址： https://papers.nips.cc/paper/3964-double-q-learning.pdf 本论文是由DeepMind发表于2015年NIPS的一篇论文，作者Hasselt。 前言： Q-Learning算法由于受到大规模的动作值过估计(overestimation)而出现不稳定和效果不佳等现象的存在，而导致overestimation的主要原因来自于最大化值函...
[归纳]强化学习导论 - 第六章：时间差分学习
一棵孤独的树
05-03 1412
文章目录本章内容概要TD PredictionAdvantages of TD Prediction MethodsOptimality of TD(0)Sarsa: On-policy TD ControlQ-learning: Off-policy TD ControlExpected SarsaMaximization Bias and Double Learning参考文献 本章内容概要 ...
【重磅整理】180篇NIPS-2020顶会《强化学习领域》Accept论文大全
深度强化学习实验室：一个“开源开放、共享共进”的强化学习学术组织。
10-13 7156
深度强化学习实验室作者：《DeepRL-Lab》 & 《AMiner.cn》联合发布来源：https://neurips.cc/Conferences/2020/编辑：DeepR...
【重磅最新】163篇ICML-2021强化学习领域论文整理汇总(2021.06.07)
深度强化学习实验室：一个“开源开放、共享共进”的强化学习学术组织。
06-07 1万+
深度强化学习实验室官网：http://www.neurondance.com/论坛：http://deeprl.neurondance.com/作者：深度强化学习实验室来源：整理自http...
【最新重磅整理】82篇AAAI2021强化学习领域论文接收列表
深度强化学习实验室：一个“开源开放、共享共进”的强化学习学术组织。
03-01 3699
深度强化学习实验室官网：http://www.neurondance.com/论坛：http://deeprl.neurondance.com/作者：深度强化学习实验室&AMine...
深度强化学习（Double DQN）
YuZhou的博客
11-28 540
深度强化学习（Double DQN）
Double Q-Learning理论基础及其代码实现【Pendulum-v0】
一起加油~
07-12 2180
Double Q-Learning算法是为了解决Q-Learning算法过高估计的问题，采用了两个Q表格。本文详细讲解了DQL算法的理论基础以及代码实现，环境是基于Pendulum-v0的。
基于值函数的强化学习算法之Double Q-Learning详解
搏博的专栏
06-06 1671
马尔可夫决策过程（MDP）是强化学习的数学框架，由五元组〈S, A, P, R, γ〉定义：其中S是所有可能状态的集合（状态空间），A是智能体可执行动作的集合（动作空间），P是状态转移概率函数（表示在状态s执行动作a后转移到状态s'的概率，即P(s'|s,a)），R是奖励函数（给出在状态s执行动作a并转移到状态s'后获得的即时奖励，即R(s,a,s')），γ是折扣因子（取值范围0≤γ<1，用于权衡当前奖励与未来奖励的重要性，γ越接近1表示越重视长期回报）。单元格中存储对应状态-动作对的Q值，即Q(s,a)
Double Q-Learning 阅读记录
水野与小太郎的博客
08-29 504
1、Overoptimism problem && maximization bias problem Q学习会带来很多问题，比如会导致最大化偏差问题，使得估计的动作价值偏大。 2、Double DQN double DQN就是为了解决上面的问题，Double DQN很简单，对于DQN的改变如下所示： 简单的理解是double-DQN，由于DQN中已经存在了target network，不需要构造额外的网络了，直接用target network去代表第二个Q表，其更新的.
强化学习《基于价值 - Double Q-Learning》
qq_29367075的博客
11-29 493
Deep Reinforcement Learning with Double Q-learning（double DQN）
小蚂蚁与大象
09-01 1222
虽然没有完全解耦，但DQN架构中的目标网络为第二值函数提供了一个自然的候选网络，而无需引入额外的网络。首先，我们展示了为什么q学习在大规模问题中可能过于乐观，即使这些问题是确定性的，因为学习的固有估计误差。其次，通过分析Atari游戏的价值估计，我们已经表明，这些高估在实践中比之前承认的更常见和更严重。当然，不精确的价值估计是学习过程中的常态，这表明高估可能比之前认识到的更普遍。然后，我们展示了这种算法不仅产生了更准确的价值估计，而且在一些游戏中获得了更高的分数。，而且还在一些游戏上带来了更好的性能。
强化学习的学习之路（十八）_2021-01-18：Double Q-learning（Deep Reinforcement Learning with Double Q-learning）
热爱可抵漫长岁月
02-25 520
作为一个新手，写这个教程也是想和大家分享一下自己学习强化学习的心路历程，希望对大家能有所帮助。这个系列后面会不断更新，希望自己能保证起码平均一天一更的速度，先是介绍强化学习的一些基础知识，后面介绍强化学习的相关论文。本来是想每一篇多更新一点内容的，后面想着大家看优快云的话可能还是喜欢短一点的文章，就把很多拆分开来了，目录我单独放在一篇单独的博客里面了。完整的我整理好了会放在github上，大家一起互相学习啊！可能会有很多错漏，希望大家批评指正！ 接下来的几个博客将会分享以下有关DQN算法及其改进，包括DQ
Deep Reinforcement Learning with Double Q-learning（Double DQN）论文学习和公式推导
qq_37194582的博客
08-09 3400
Abstract Q-learning算法会在某些情况下存在对action values的过估计（overestimation）问题，但这种过估计是否普遍存在，是否影响性能，是否可避免，以前尚不清楚。作者在本文回答了这些问题，且证明了用于解决表格式问题（状态动作是离散的）的Double Q-learning算法背后的思想可以推广用于大规模函数逼近。作者提出了一种改进的DQN算法，减少了过估计现象。 Q-learning有时学到不切实际的高action value，原因是在估计action valu.
强化学习导论：机器学习的重要类型
强化学习导论 强化学习（Reinforcement Learning）是一种重要的机器学习类型，它使得智能体通过在环境中执行动作并观察结果来学习...通过学习强化学习的不同架构和应用领域，我们可以更好地理解和应用强化学习技术。
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值