强化学习总结（2）———DQN

最新推荐文章于 2025-04-24 14:22:15 发布
最新推荐文章于 2025-04-24 14:22:15 发布
阅读量1.6k 收藏 9
点赞数 2
分类专栏： 机器学习 文章标签： DQN AI RL
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/qq_37553152/article/details/90812273
版权
本文深入探讨了DQN算法，它是Q-Learning的改进版，通过神经网络解决状态数增加带来的效率问题。DQN引入了深度卷积神经网络和经验回放策略，确保模型稳定训练。此外，还介绍了目标网络的概念，用于处理时间差分误差，从而在强化学习中实现全局和局部学习的平衡。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

上一篇总结了Q-Learning算法 https://blog.youkuaiyun.com/qq_37553152/article/details/88830319

Q-Learning算法对于一些小问题非常实用，但是遇到复杂的问题，状态数变多，就会遇到效率低、受数据关联性影响等问题。

于是DQN出现了，它在Q-Learning算法上做了修改，用神经网络代替了Q-learning中的Q表，其输入为状态，输出每个动作的Q值。

DQN算法之所以著名，其中起到重要作用的有两点，一是使用深度卷积神经网络逼近值函数，网络结构为3个卷积层2个全连接层。二是利用了经验回放训练强化学习模型，在训练神经网络时，假设训练数据是独立同分布的，但是强化学习数据采集过程中的数据是具有关联性的，利用这些时序关联的数据训练时，神经网络无法稳定，利用经验回放打破了数据间的关联性。在强化学习的过程中，智能体将数据保存到一个数据库中，再利用均匀随机采样的方法从数据库中抽取数据，然后利用抽取到的数据训练神经网络。

DQN设置了目标网络来单独处理时间差分算法中的TD误差，目标网络的作用与经验回放一致，都是为了打破训练数据之间的时序关联性，在计算TD目标计算时使用一个参数θ，计算并更新动作值函数逼近的网络使用另一个参数θ，在训练过程中，动作值函数逼近网络的参数θ每一步更新一次，TD目标计算网络的参数θ’

最低0.47元/天 解锁文章
基于深度学习的柔性流水车间排产优化问题研究
weixin_70923796的博客
12-02 310
柔性流水车间排产优化问题描述为： NN 个工件按照同一加工顺序在 MM 道工序上进行加工， MM 道工序之中至少有一道工序的并行机器数多于一台( Ej⩾2Ej⩾2 )。同一工件的同一工序，所有机器上的加工时间相同，工件在各工序的加工顺序一致。加工时间为已知量。柔性流水车间如图1所示。优化目标是找到 NN 个工件进入车间加工的上线序，最小化最大完工时间。并在其生产过程中存在多种假设条件包括：同一时刻同一台机器只能加工一道工序；每个工件在某一时刻只能在一台机器上加工；
从零开始的深度强化学习系列教程——DQN 算法原理讲解
AI天才研究院
09-22 1250
随着机器学习、深度学习等技术的兴起，强化学习（Reinforcement Learning）也越来越火爆。强化学习就是让一个智能体（Agent）通过与环境进行交互，在不断探索寻找最优策略的过程中，通过学习经验改善自身的策略，从而达到长远利益最大化的目的。其中，DQN （Deep Q-Networks）是一个强化学习算法。本文将从DQN的基本原理入手，全面讲述DQN算法背后的原理和数学公式，并提供相应的代码实现及其注释。深度强化学习算法对强化学习领域的重要性不亚于监督学习。
强化学习学习总结（四）——DQN
Raoodududu的博客
10-09 2347
一、def         如果我们的state与action很多，就如打砖块游戏，每个时间不同的砖块排列跟剩余都是不同的state，就会导致维度灾难。使用神经网络来 估算 这个 state 的值, 这样就不需要一张表了. 更新方式 二、算法更新 1、初始化replay memory D 容量为N  2、用一个深度神经网络作为Q值网络，初始化权重参数  3、设定游戏片段总数M  4...
强化学习之DQN
qq_42498154的博客
11-12 1256
DQN一.算法详解1.1.经验池1.2.神经网络计算Q值1.3.目标函数（Q-target）二.马尔科夫决策2.1要求2.2 由5个元素构成2.3过程三.Bellman方程四.算法流程4.1公式五.代码详解 一.算法详解 DQN是Q-learning的改进，两者都是基于值迭代的算法。但是在Q-learning中，当状态和动作空间是离散且维数是不变时，可使用Q-table储存每个状态动作对应的Q值，而当状态和动作空间是高维连续的，需要使用Q-learning和神经网络相结合，这就成
DQN算法：演进、原理推导及代码实现
jianmo的博客
04-24 1676
为解决这一问题，深度Q网络（Deep Q-Network，DQN）算法应运而生，其核心思想是用神经网络替代表格，通过函数拟合近似Q值函数，从而突破传统方法的局限性。总结来说，目标网络通过引入一个参数定期更新的独立网络，为策略网络的训练提供了一个相对稳定的目标，从而解决了在深度强化学习中因目标值频繁变化而导致的训练不稳定问题，是DQN算法能够成功应用的关键技术之一。，但是由于TD误差目标本身就包括神经网络的输出，在更新网络参数的同时目标也在不断改变，这就很容易造成神经网络训练的不稳定。，使得累积奖励最大化。
【强化学习】10 —— DQN算法
sinat_52032317的博客
10-28 4567
在车杆环境中，有一辆小车，智能体的任务是通过左右移动保持车上的杆竖直，若杆的倾斜度数过大，或者车子离初始位置左右的偏离程度过大，或者坚持时间到达 500 帧，则游戏结束。智能体的状态是一个维数为 4 的向量，每一维都是连续的，其动作是离散的，动作空间大小为 2。的，我们每次训练神经网络的时候从训练数据中随机采样一个或若干个数据来进行梯度下降，随着学习的不断进行，每一个训练数据会被使用多次。如果两套网络的参数随时保持一致，则仍为原先不够稳定的算法。具体而言，目标网络使用训练网络的一套较旧的参数，训练网络。
深度强化学习——DQN
01-27
本文来自于csdn，本文章主要介绍了深度学习与强化学习结合起来从而实现从感知（Perception）到动作（ Action）的端对端（End-to-end）学习的一种全新的算法。 原因：在普通的Q-learning中，当状态和动作空间是离散且...
基于深度强化学习的微能源网能量管理与优化策略研究——DQN算法的应用与挑战
最新发布
04-26
内容概要：本文详细探讨了利用深度强化学习（特别是DQN算法）进行微能源网的能量管理和优化。文中介绍了微能源网面临的挑战，如光伏和风力发电的不确定性以及用户用电需求的波动。作者通过具体案例展示了如何构建微...
强化学习库tianshou——DQN使用
Lejeune的博客
01-27 5604
强化学习库tianshou——DQN使用 tianshou是清华大学学生开源编写的强化学习库。本人因为一些比赛的原因，有使用到强化学习，但是因为过于紧张与没有尝试快速复现强化学习的代码，并没有获得很好的成绩，故尝试用库进行快速复现。 之前也尝试了parl等库，感觉parl在文档等方面似乎并不如tianshou，性能上作为菜鸟不好评价。tianshou的官方文档也有很久没有更新了，上面有些代码不能运行，用了最新版tianshou的github上的代码案例进行学习，相关注释已经记录。 import os imp
强化学习_DQN算法
m0_68462260的博客
09-26 209
在Q-learning 中，我们有一个Qtable，记录着在每一个状态下，各个动作的Q值。训练之后我们继续进行游戏，继续把新产生的数据添加到回放缓存里，每次都随机抽出一个 batch 大小的数据训练智能体，这样，以前产生的数据同样也能用来训练数据。另外一个叫 targetQ 网络，targetQ 自己并不会更新，也就是它在更新的过程中是固定的，用于计算更新目标。我们把(每一步的S，选择的a，进入新的状态s’，获得的奖励r，新状态是否为终止状态)作为一条条数据。一个是原来的Q 网络，用于估算 Q(S);
强化学习六、DQN
wshzd的博客
05-22 1489
到目前为止已经介绍了强化学习的基本方法：基于动态规划的方法、基于蒙特卡罗的方法、基于时间差分的方法。这些方法都有一个基本的前提条件：状态空间和动作空间是离散的，而且都不能太大。原因是这些方法的值函数其实是一张表，对于状态值函数，其索引是状态；对于动作值函数，其索引是状态-动作对，所以如果状态空间很大的话，或者状态空间是连续的话，值函数很难用一张表来表示或者存储。 此时我们就可以利用函数逼近的方法来表示值函数，然后就可以利用策略迭代和值迭代方法构建算法。 下面我们首先回顾一下蒙特卡罗方法、TD方法值函数的
强化学习之DQN算法
weixin_41548113的博客
01-17 1271
DQN，Deep Q Network，是强化学习中一种强大的算法，Deep Mind团队凭借该算法，让计算机打败了人类围棋，刷新了人们对人工智能的认知。强烈推荐莫烦大神的强化学习入门课程，本文主要参考莫烦大神的课程进行总结。 论文：《Playing Atari with Deep Reinforcement Learning》https://arxiv.org/abs/1312.5602 参考...
强化学习(二) —— DQN深度强化学习网络
hxxjxw的博客
08-03 1337
DQN，DeepQ Network, 是融合了Q-learning和神经网络的方法 传统Q-learning的瓶颈 使用Q-table这样一个表格来存储state和action的Q值，在复杂的情境下，状态可以多到比天上的星星还要多，如果全用表格来存储，计算机是存储不下的。并且在如此巨大的表格中搜索对应状态也是一种很耗时的事情 不过神经网络对这类事情很在行，我们将状态和动作当作神经网络的输入值，经过神经网络分析后，得到动作的Q值，这样我们就不需要用表格记录Q值了 我们也可以只输入状...
强化学习（DQN）教程
周红伟讲AI
08-10 1469
一起学习
基于强化学习的车间调度，dqn，ppo
mxLHSyKvb的博客
01-24 1760
强化学习通过自我学习和优化策略的方式，为车间调度问题提供了一种有潜力的解决方法。在车间调度中，PPO可以通过策略迭代和梯度下降的方式，不断改进调度决策，提高车间的生产效率和任务完成率。未来的研究可以从多方面入手，如模型改进、算法优化和实际应用验证，以促进基于强化学习的车间调度算法在制造业中的广泛应用和推广。此外，车间调度算法的训练和优化过程通常需要大量的计算资源和时间，这对于实际生产环境的应用提出了一定的挑战。相比之下，基于强化学习的车间调度算法具有自我学习和优化的能力，能够在动态环境中不断改进调度策略。
深度强化学习-DQN算法
athrunsunny的博客
09-21 1014
先讲下在线离线和同策略和异策略同策略（）和异策略（）的根本区别在于生成样本的策略和参数更新时的策略是否相同。对于同策略，行为策略和要优化的策略是同一策略，更新了策略后，就用该策略的最新版本对数据进行采样；对于异策略，其使用任意行为策略来对数据进行采样，并利用其更新目标策略。例如，Q学习在计算下一状态的预期奖励时使用了最大化操作，直接选择最优动作，而当前策略并不一定能选择到最优的动作，因此这里生成样本的策略和学习时的策略不同，所以Q学习算法是异策略算法；相对应的Sarsa。
强化学习（四）-DQN实现
kmzy_hnu的博客
04-14 1734
Example of DQN in Pytorch 回顾DQN原理 DQN使用神经网络来拟合动作-状态价值函数即QQQ函数，同时为了使训练效果更稳定，加入了经验重放和固定目标机制。经验重放指的是每次将转移元组(st,at,rt,st+1)(s_t,a_t,r_t,s_{t+1})(st​,at​,rt​,st+1​)存入缓冲器容器DDD中，然后从容器中随机采样，用作训练数据；固定目标是指使用两个网络，一个用作目标网络，一个用作当前的评估网络，目标网络的参数更新滞后于评估网络，使得评估网络更好地接近目
强化学习——DQN系列（DQN, Nature DQN, DDQN, Dueling DQN等）
xiaofalu的博客
09-07 5579
1 概述 　　在之前介绍的几种方法，我们对值函数一直有一个很大的限制，那就是它们需要用表格的形式表示。虽说表格形式对于求解有很大的帮助，但它也有自己的缺点。如果问题的状态和行动的空间非常大，使用表格表示难以求解，因为我们需要将所有的状态行动价值求解出来，才能保证对于任意一个状态和行动，我们都能得到对应的价值。因此在这种情况下，传统的方法，比如Q-Learning就无法在内存中维护这么大的一张Q表。...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值