Target Network缓解DQN的动作价值的高估问题

最新推荐文章于 2025-04-25 14:57:48 发布
原创 最新推荐文章于 2025-04-25 14:57:48 发布 · 420 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#python #开发语言 #深度学习 #人工智能

1、高估问题产生的原因

原因1：由于噪声的存在，影响 m a x ( Q ) max(Q) max(Q)的估计最大值比真实的最大值更大，最小值比真实最小值更小；

原因2：Bootstrapping，DQN近似动作价值 Q Q Q，使用TD算法更新DQN，因为TD算法存在高估，更新DQN时造成高估，下一次TD更新时也会不断高估；


2、Target Network解决动作价值高估问题思路

使用Target Network计算： max ⁡ a Q ( s t + 1 , a ; w − ) \max_aQ(s_{t+1},a;\mathbf{w}^-) maxa​Q(st+1​,a;w−)

TD learning with naïve update:
TD Target:  y t = r t + γ ⋅ max ⁡ a Q ( s t + 1 , a ; w ) . \begin{gathered} \text{TD Target: }\\ y_t=r_t+\gamma\cdot\max_aQ(s_{t+1},a;\mathbf{w}). \\ \end{gathered} TD Target: yt​=rt​

最低0.47元/天 解锁文章
(6-3）Deep Q Network (DQN)算法：DQN的网络结构与训练过程
码农三叔
02-18 4179
上述代码展示了一个简单的DQN代理和经验回放缓冲区的结合使用，在与环境交互中，代理使用remember方法将经验添加到缓冲区，然后在训练循环中使用train方法进行DQN的训练，经验回放缓冲区有助于提高训练的稳定性和效率。上述代码中的神经网络结构是一个简化的DQN模型，您可以根据实际问题的需求调整输入层、隐藏层和输出层的神经元数量，以及添加更复杂的结构。经验回放（Experience Replay）是强化学习中一种重要的技术，通常用于训练深度强化学习代理，如DQN，它的主要目的是改善训练的稳定性和效率。
强化学习—— Target Network & Double DQN（解决高估问题，overestimate）
Cyrus_May的博客
04-10 2704
强化学习—— Target Network & Double DQN（解决高估问题，overestimate）1TD算法2. 高估问题2.1 Maximization2.1.1 数学解释2.1.2 动作价值函数的高估2.2 Bootstrapping2.3 高估是否有害3. 高估的解决方案3.1 Target Network3.1.1 Target Network的结构3.1.2 学习方式3.2 Double DQN4. 总结 1TD算法 TD Target：yt=rt+maxaQ(st+1,a
DQN笔记：高估问题 & target network & Double DQN
qq_40206371的博客
05-26 5490
Q 学习算法有一个缺陷：用 Q 学习训练出的 DQN 会高估真实的价值，而且高估通常是非均匀的。 这个缺陷导致 DQN 的表现很差。 高估问题并不是 DQN 本身的缺陷，而是训练 DQN 用的 Q 学习算法的缺陷。 1 自举（bootstrapping）导致的偏差传播 1.1 DQN参数更新（回顾） Q-learning 算法每次从经验回放数组 (Replay Buffffer) 中抽取一个四元组。然后执行以下步骤，对 DQN 的参数做一轮更新： 1，计算TD目标 ——&...
深度增强学习（DQN）的各种改进(一)
wjyhumor的博客
02-01 1886
DeepMind在2013年提出DQN模型称为NIPS DQN，主要是增加了经验回放（experience replay）的功能，上篇文章已经介绍。此后，相继有各种改进模型发表。 Nature DQN 由DeepMind在2015年提出，论文：Human-level control through deep reinforcement learning。主要的改进是
深度强化学习——DQN算法原理
weixin_44732379的博客
11-14 6万+
深度Q网络与Q学习的目标价值以及价值的更新方式都非常相似。主要的不同在于：深度Q网络将Q学习与深度学习结合，用深度网络来近似动作价值函数，而Q学习则是采用表格存储；深度Q网络采用经验回放的训练方式，从历史数据中随机采样，而Q学习直接采用下一个状态的数据进行学习。
DQN结构—Evaluation Network和Target Network
qingmuluoyang的博客
06-24 2327
DQN; Evaluation Network(评估网络)和Target Network(目标网络)
【DQN高级技巧2】DQN高估问题：Target Network和Double DQN
qq_44319285的博客
10-17 656
DQN高级技巧：高估问题
Double DQN缓解动作价值的高估问题
KPer_Yang的博客
08-07 264
Double DQN缓解动作价值的高估问题
深度Q网络（Deep Q-Network, DQN）
最新发布
Rhett_Butler0922的博客
04-25 1037
强化学习的目标是让智能体在环境中通过**试错（Trial-and-Error）**学习一个策略（Policy），以最大化长期的累积奖励（Cumulative Reward）。与监督学习不同，强化学习中没有明确的标签数据，智能体只能通过环境的反馈（奖励）来评估自己的行为。智能体（Agent）：决策者，执行动作。环境（Environment）：智能体交互的对象，提供状态和奖励。状态（State,s∈Ss∈S：描述环境当前的情况。动作（Action,a∈Aa∈A。
DQN（Deep Q-Learning）中的高估问题以及DQN的解决策略
weixin_51602120的博客
02-04 1761
引起高估问题的原因主要有两个，分别为TD Target中的最大化 和 仅用一个神经网络所带来的BootStrapping。引入Target Network，在一定程度上避免了bootstrapping（但没有完全避免，因为wT依赖于ww_T依赖于wwT​依赖于w提出Double DQN，在一定程度上避免了最大化引起的高估问题。
【Rainbow——强化学习之DQN进化版】
zkp727的博客
10-20 3358
Rainbow——DQN的多种改进
【强化学习】Deep Q Network(DQN)算法详解
shura的技术空间
06-20 11万+
DQN（Deep Q-Learning）是将深度学习deeplearning与强化学习reinforcementlearning相结合，实现了从感知到动作的端到端的革命性算法。使用DQN玩游戏的话简直6的飞起，其中fladdy bird这个游戏就已经被DQN玩坏了。当我们的Q-table他过于庞大无法建立的话，使用DQN是一种很好的选择 1、算法思想 DQN与Qleanring类似...
Double-DQN算法target网络和predict网络区别
nanfei_opt的专栏
09-16 2707
DQN框架主要包括以下几部分： 构建predict神经网络和target神经网络模块 训练predict神经网络模块 更新target神经网络模块 根据predict值选择动作模块 DQN算法图如下： 这里存在两个Q值神经网络：predict神经网络和target神经网络。 1. target神经网络。作用：计算目标Q值。更新：间隔一段时间进行更新。目的：保持算法稳定性。 为了获得的Q值，Q值的更新依靠Reward和Q计算出来的目标Q值： 这里采用一个稳定的target神经网络进行Q值..
强化学习经典算法笔记(六)：深度Q值网络 Deep Q Network
hhy_csdn的博客
04-17 1万+
前期回顾 强化学习经典算法笔记(零)：贝尔曼方程的推导 强化学习经典算法笔记(一)：价值迭代算法Value Iteration 强化学习经典算法笔记(二)：策略迭代算法Policy Iteration 强化学习经典算法笔记(三)：蒙特卡罗方法Monte Calo Method 强化学习经典算法笔记(四)：时间差分算法Temporal Difference（Q-Learning算法） 强化学习经典算...
深度增强学习（DRL）漫谈 - 从DQN到AlphaGo
世事难料，保持低调
10-10 2万+
深度增强学习（Deep reinforcement learning, DRL）是DeepMind（后被谷歌收购）近几近来重点研究且发扬光大的机器学习算法框架。两篇Nature上的奠基性论文（DQN和AlphaGo）使得DRL这一深度学习（Deep learning, DL）和增强学习（Reinforcement learning, RL）的交叉方向变得炙手可热。再加上多个影响较大的benc...
强化学习—DQN算法原理详解
热门推荐
binbigdata的博客
01-23 18万+
强化学习—DQN算法原理详解 一、 概述 强化学习算法可以分为三大类：value based, policy based 和 actor critic。常见的是以DQN为代表的value based算法，这种算法中只有一个值函数网络，没有policy网络，以及以DDPG,TRPO为代表的actor-critic算法，这种算法中既有值函数网络，又有policy网络。 说到DQN中有值函数网络，...
强化学习算法DQN：算法简介、创新点：回放机制&target-network、伪代码、算法理解、代码实现、tensorboard展示网络结构
我的AI笔记
07-19 7952
！
【深度学习】DQN的经验回放（Experience Reply）和目标网络（Target Network）
ngc_1277
11-13 1万+
前言 对于Q-learning算法，有两点不足之处： 维度灾难；这是由于查找表存储和更新Q值时需要在离散状态空间开始强化学习，当状态的数量增大，这一问题将愈发难解； 有关状态空间离散化的粒度；较低的粒度将使得Q-learning泛化能力较弱，高粒度又将可能导致状态数量呈指数增长。 DQN应运而生，采用深度神经网络为非线性函数逼近，以表示高维连续状态空间中的Q值函数。， θ即参数化的神经网络。...
DQN(1)
cluster1893的博客
05-28 1215
DQN(1) DQN(1) 资料 为什么需要DQN 伪代码 需要 复现莫烦PYTHON的核心代码 效果 下一步任务 资料 莫烦PYTHON DeepMind 《强化学习精要》 Deep Reinforcement Learning 基础知识（DQN方面） 用Tensorflow基于Deep Q Learning DQN 玩Flappy Bird Human-le...
深入解析DQN算法及其变体：Double Q学习
Double DQN通过将动作的选择与动作值的评估分离来解决这个问题：动作的选择依旧由主网络决定，而动作值的评估则由目标网络完成，从而避免了同时由一个网络高估动作值的问题。 在变体研究中，DQN算法还包括了优先...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

KPer_Yang

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值