强化学习—— Target Network & Double DQN（解决高估问题，overestimate）

解决强化学习中高估问题：Target Network与Double DQN
最新推荐文章于 2024-08-09 10:49:19 发布
原创 最新推荐文章于 2024-08-09 10:49:19 发布 · 2.6k 阅读 · 11 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#python #强化学习 #人工智能 #算法 #overestimate

本文探讨了强化学习中DQN算法的高估问题，包括最大化导致的动作价值高估和Bootstrapping引发的正反馈循环。介绍了Target Network作为解决方案，通过分离目标网络来减少高估，以及Double DQN如何避免最大化过程中的高估。这两种方法都是为了提高DQN的学习效果和稳定性。

强化学习—— Target Network & Double DQN（解决高估问题，overestimate）

1TD算法

  1. TD Target： y t = r t + m a x a Q ( s t + 1 , a ; W ) y_t = r_t +\mathop{max}\limits_{a}Q(s_{t+1},a;W) yt​=rt​+amax​Q(st+1​,a;W)
  2. SGD: W ← W − α ⋅ ( Q ( s t , a t ; W ) − y t ) ⋅ ∂ Q ( s t , a t ; W ) ∂ W W\gets W-\alpha \cdot (Q(s_t,a_t;W)-y_t)\cdot \frac{\partial Q(s_t,a_t;W)}{\partial W} W←W−α⋅(Q(st​,at​;W)−yt​)⋅∂W∂Q(st​,at​;W)​
    TD Target中的部分基于Q，并用于更新Q自身。

2. 高估问题

使用TD 算法进行学习使得DQN出现高估问题（overestiamte），两个主要原因为：

  1. TD Target比真实的动作价值更大（Maximization）。
  2. Bootstrapping
    在这里插入图片描述

2.1 Maximization

2.1.1 数学解释

  1. 观测到实数： x 1 , x 2 , . . . , x n x_1,x_2,...,x_n x1​,x2​,...,xn​
  2. 对实数x增加均值为0的噪音，得到： Q 1 , Q 2 , . . . , Q n Q_1,Q_2,...,Q_n Q1​,Q2​,...,Qn​
  3. 均值为0的噪音并不影响增加前后的均值： E [ m e a n i ( Q i ) ] = E [ m e a n i ( x i ) ] E[mean_i(Q_i)]=E[mean_i(x_i)] E[meani​(Qi​)]=E[meani​(xi​)]
  4. 添加均值为0的噪音会增加添加后的最大值： E [ m a x i ( Q i ) ] ≥ E [ m a x i ( x i ) ] E[max_i(Q_i)]≥E[max_i(x_i)] E[maxi​(Q
最低0.47元/天 解锁文章
2024-简单点-假设我要让一个py功能文件变成服务，在网络启动后进行，并且开机自动启动。
万物琴弦存于你的泡沫之中，光锥之外
04-17 724
这个服务单元文件定义了一个服务，该服务将启动一个 Python 脚本（app.py），该脚本可能是一个 Web 服务器或其他长时间运行的服务。它依赖于网络，并且在系统进入多用户模式时自动启动。如果服务意外退出，它将自动重启。这里假设你的服务单元文件名为，并且它位于或其他systemd搜索的路径中。
linux 系统进程管理工具systemd（systemctl命令、创建自己的systemd服务、单位类型Type=notify和Type=forking的区别）
西京刀客
12-11 4034
systemd是目前Linux系统上主要的系统守护进程管理工具，由于init一方面对于进程的管理是串行化的，容易出现阻塞情况，另一方面init也仅仅是执行启动脚本，并不能对服务本身进行更多的管理。所以从CentOS 7开始也由systemd取代了init作为默认的系统进程管理工具。
麒麟操作V10SP1系统systemd目标单元
qq_41619571的博客
05-16 1047
通过命令列出当前系统中所有可用的。
【强化学习-11】Target network & Double DQN
HsinglukLiu的博客
01-28 521
Target network & Double DQNTarget network & Double DQNTarget NetworkDouble DQN 本笔记整理自 (作者: Shusen Wang): https://www.bilibili.com/video/BV1rv41167yx?from=search&seid=18272266068137655483&spm_id_from=333.337.0.0 Target network & Double D
【从RL到DRL】深度强化学习基础（三）——蒙特卡洛算法、TD算法改进：经验回放与高估问题的优化——Target网络与Double DQN，DQN结构改进——Dueling网络
Vulcan_Q的博客
10-19 1553
本文为深度强化学习的第三篇，承接上篇介绍了蒙特卡洛算法的应用，并结合TD算法的具体缺点，从两个角度介绍了两个改进方案——经验回放与高估问题优化，最后介绍了对DQN网络结构的优化——Dueling Network 结构
【DQN高级技巧2】DQN高估问题：Target Network和Double DQN
qq_44319285的博客
10-17 652
DQN高级技巧：高估问题
【强化学习】值函数算法DQNs详解【Vanilla DQN & Double DQN & Dueling DQN】
Shen Mu Xin's Blog
08-11 1728
简要实现了DQNs算法的三个变种分别是 Vanilla DQN，Double DQN，Dueling DQN
深度强化学习——DQN
01-27
本文来自于csdn，本文章主要介绍了深度学习与强化学习结合起来从而实现从感知（Perception）到动作（ Action）的端对端（End-to-end）学习的一种全新的算法。 原因：在普通的Q-learning中，当状态和动作空间是离散且...
初探强化学习(14)DQN类算法的值高估问题的笔记
qq_33328642的博客
05-18 1093
关于DQN算法的一些细节，可以查看这个博客，讲的很细节。 主要参考博客 https://zhuanlan.zhihu.com/p/443807831 https://itpcb.com/a/162740#:~:text=%E5%87%BA%E7%8E%B0%E4%BB%B7%E5%80%BC%E9%AB%98%E4%BC%B0%E7%9A%84%E6%A0%B9,%E7%9A%84%E5%8D%B7%E7%A7%AF%E7%A5%9E%E7%BB%8F%E7%BD%91%E7%BB%9C%E3%80%82
DQN笔记：高估问题 & target network & Double DQN
qq_40206371的博客
05-26 5460
Q 学习算法有一个缺陷：用 Q 学习训练出的 DQN 会高估真实的价值，而且高估通常是非均匀的。 这个缺陷导致 DQN 的表现很差。 高估问题并不是 DQN 本身的缺陷，而是训练 DQN 用的 Q 学习算法的缺陷。 1 自举（bootstrapping）导致的偏差传播 1.1 DQN参数更新（回顾） Q-learning 算法每次从经验回放数组 (Replay Buffffer) 中抽取一个四元组。然后执行以下步骤，对 DQN 的参数做一轮更新： 1，计算TD目标 ——&...
强化学习—高估计问题
Tony Wey的博客
08-08 499
Bootstrapping：用一个估算去更新同类的估算。在强化学习中，Bootstrapping是一种重要的方法，特别是在n-step TD（时序差分）预测和控制问题中。这种方法结合了蒙特卡罗（MC）方法和一步时序差分（TD）方法。n-step TD方法利用了后续多步信息来更新价值函数，介于一步TD方法和MC方法之间。例如，在n-step TD方法中，目标的计算考虑了从当前步骤开始的接下来的n个步骤的奖励和状态价值。这种方法可以更快地更新价值估计，并且可以根据情况调整步长n，从而加速学习过程。n-st
强化学习-学习笔记11 | 解决高估问题
qq_45562973的博客
07-09 943
在实际应用中DQN会引起高估，进而影响动作的正确选择。本文介绍的高估问题解决办法为：Target Network & Double DQN.自举通俗来说就是自己把自己举起来，这在现实物理学中是很荒唐的，但在统计学和强化学习中是可以做到自举的。在强化学习中，自举 的意思是用一个估算去更新同类的估算，即自己把自己举起来。之前我们提到：我们注意一下TD target，ytyty_t 中含有部分真实 也含有 部分DQN 在 t+1 时刻的估计。而梯度下降中的 δtδt\delta_t 中含有 ytyty_t 。这说
DQN（Deep Q-Learning）中的高估问题以及DQN的解决策略
weixin_51602120的博客
02-04 1740
引起高估问题的原因主要有两个，分别为TD Target中的最大化 和 仅用一个神经网络所带来的BootStrapping。引入Target Network，在一定程度上避免了bootstrapping（但没有完全避免，因为wT依赖于ww_T依赖于wwT​依赖于w提出Double DQN，在一定程度上避免了最大化引起的高估问题。
强化学习算法DQN：算法简介、创新点：回放机制&target-network、伪代码、算法理解、代码实现、tensorboard展示网络结构
我的AI笔记
07-19 7936
！
高估问题以及解决方法
qq_41903673的博客
03-28 1268
两个原因： 1.计算TD target时，用到了最大化，造成计算的结果比真实值要大。 2.用高估的结果再去更新自己，在网络中一次次循环过程，该最大化会越来越大，导致高估。 DQN的高估是非均匀的，而这种非均匀的高估是有害的，因为不能选出最优的动作。 DQN的高估是非均匀的，原因如下： DQN一般从队列中选取一个transition四元组去更新w，而TD target已经是对真实价值的高估，TD算法鼓励DQN的预测接近，但是已经是高估的，那么DQN这么做就会把DQN对的估计值给推高，s和a的..
【强化学习】为什么DQN存在Q值高估问题？请从原理和例子上进行详细解释，1500字
最新发布
wq6qeg88的博客
08-09 1788
DQN（Deep Q-Network）是深度强化学习领域中的一种重要算法，它通过将深度学习方法与Q学习结合来解决高维状态空间中的强化学习问题。DQN在许多应用场景中取得了显著的成果，但它也存在一些问题，其中最突出的一个就是Q值高估问题。下面将详细解释Q值高估问题的原理及其例子，并讨论解决这一问题的方法。
目标网络的评估模式：target_dqn.eval()
YHKKun的博客
04-08 429
如果在进行模型评估或测试时没有将模型设置为评估模式，那么由于Dropout层或BatchNormalization层的行为差异，可能会得到不一致或不可预测的结果。但在评估模式下，Dropout层不会丢弃任何元素，而是会对所有元素进行缩放，以确保输出的总和与训练模式下相同（在统计意义上）。是一个重要的函数调用，它涉及到模型的两种模式：训练模式（train mode）和评估模式（evaluation mode，或者称为推理模式 inference mode）。的作用是将目标DQN网络设置为评估模式。
DQN结构—Evaluation Network和Target Network
qingmuluoyang的博客
06-24 2291
DQN; Evaluation Network(评估网络)和Target Network(目标网络)
【深度学习】DQN的经验回放（Experience Reply）和目标网络（Target Network）
热门推荐
ngc_1277
11-13 1万+
前言 对于Q-learning算法，有两点不足之处： 维度灾难；这是由于查找表存储和更新Q值时需要在离散状态空间开始强化学习，当状态的数量增大，这一问题将愈发难解； 有关状态空间离散化的粒度；较低的粒度将使得Q-learning泛化能力较弱，高粒度又将可能导致状态数量呈指数增长。 DQN应运而生，采用深度神经网络为非线性函数逼近，以表示高维连续状态空间中的Q值函数。， θ即参数化的神经网络。...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值