强化学习经典算法笔记(六)：深度Q值网络 Deep Q Network

最新推荐文章于 2025-04-30 17:02:55 发布
最新推荐文章于 2025-04-30 17:02:55 发布
阅读量1.2w 收藏 98
点赞数 13
分类专栏： 强化学习 文章标签： 强化学习 深度强化学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/hhy_csdn/article/details/89339149
版权

前期回顾

强化学习经典算法笔记(零)：贝尔曼方程的推导
强化学习经典算法笔记(一)：价值迭代算法Value Iteration
强化学习经典算法笔记(二)：策略迭代算法Policy Iteration
强化学习经典算法笔记(三)：蒙特卡罗方法Monte Calo Method
强化学习经典算法笔记(四)：时间差分算法Temporal Difference（Q-Learning算法）
强化学习经典算法笔记(五)：时间差分算法Temporal Difference（SARSA算法）

强化学习经典算法笔记——深度Q值网络

  到这里，我们终于来到了深度强化学习的领域了，之前的算法都是经典RL算法，它们和DRL的关系好比是机器学习和深度学习的关系。深度神经网络的引入极大地提升了强化学习算法的效率和能力，使强化学习的研究进入了新的阶段。

简介

  深度强化学习的经典之作是2015年DeepMind发表在Nature的DQN论文《Human-Level Control Through Deep Reinforcement Learning》。本篇博客就讲一讲DQN的基本框架思想，并用代码实现它。

  DQN属于Q-Learning算法，也是一种Value-Based算法，并不直接学习一个Policy，而是学习Critic，也就是学习如何评价当前状态的好坏，进而根据Q值选取最佳的action。因此可以将DQN中的神经网络看做是一个复杂的Q-function，本质上，它和前几篇中提到的Q-table干的事是一样的，只不过神经网络的函数拟合能力很强，它能胜任更复杂的RL任务。

  我个人观点，深度强化学习的框架大致可以分为两部分，一部分是感知（Sensoring），另一部分是决策（Decision Making）。

  DRL往往需要学习一个感知算法，感知真实环境的各种信息。有的感知器输出一个标量，反映当前环境或状态动作对的好坏；有的感知器则是对真实环境进行建模，将当前状态抽象成一个隐层特征，用于后续的决策算法使用，这类算法有DeepMind的World Model和PlaNet系列，我们以后都会讲到。

  感知算法是对真实环境的总结和特征提取，要想做出决策，还需要一个决策算法。比如DQN中的 ϵ − g r e e d y \epsilon-greedy ϵ−greedy算法，虽然是一个比较简单的policy算法，直接采取具有最大Q值的动作作为当前策略，但是我们也可以看做是一个决策算法，它利用了上一步的感知器对环境的感知信息。

  再比如，AlphaGo系列算法中，CNN负责对当前棋盘状态提取特征，给出当前胜算（也就是评估当前状态好坏），接着蒙特卡洛树搜索算法根据CNN输出的Q值计算子结点的U值，进行棋盘搜索，完成决策。

  从感知和决策的角度审视深度强化学习，深度神经网络的引入提升了感知和决策两方面的效果。我们在这一篇主要讲神经网络对感知能力的提升，而将神经网络用于决策的内容放到后面去讲。但是，将神经网络用于强化学习早已有之，不过效果一直不好，直到DQN引入了几个核心技术，才将性能大大提升，即

  • 卷积神经网络 CNN
  • 目标网络 Target Network
  • 经验回放 Experience Replay

  DQN应该是第一个采用原始图像作为CNN输入进行训练的，也应该是第一个将CNN在RL发挥巨大威力的算法。DQN中的CNN采用和AlexNet类似的结构。

  目标网络是DQN的一大贡献。我们知道，与环境交互具有极大的随机性，XXXXXXXXXXXXXXXXX

  经验回放是DQN的另一贡献。我们知道，一个episode是一个时间关联性很强的（状态-动作-回报）序列，如果直接拿若干个episode的序列数据来训练CNN，XXXXXXXXXXXXXXXXXXXXXXX

现在让我们看看DQN完整的算法

以下操作执行N个Episode：

  • 将游戏画面 s s s进行预处理，送入CNN，输出每个动作的Q值
  • 根据 ϵ − g r e e d y \epsilon-greedy ϵ−greedy算法计算应该采取的动作 a = a r g m a x ( Q ( s , a , θ ) ) a=argmax(Q(s,a,\theta)) a=argmax(Q(s,a,θ))
  • 执行动作 a a a，转移到下一状态 s ′ s' s′，收到环境给出的回报
  • 将序列 &lt; s , a , r , s ′ &gt; &lt;s,a,r,s&#x27;&gt; <s,a,r,s
最低0.47元/天 解锁文章
【深度学习】最强算法之：深度Q网络（DQN）
商务合作 | 面试培训 | 职场规划 ==>主页扫码
04-08 4633
深度学习之不得不会算法：深度Q网络
强化学习-----DQN（Deep Q-network）
qq_74722169的博客
04-07 2万+
DQN（Deep Q-Network）是一种基于深度学习和强化学习的算法，由DeepMind提出，用于解决离散动作空间下的马尔科夫决策过程（MDP）问题。它是首个成功将深度学习应用于解决强化学习任务的算法之一。DQN，即深度Q网络（Deep Q-network），是指基于深度学习的Q-Learing算法。那什么是Q-leaning？可以看上一篇文章Q-learning是一种经典的强化学习算法，用于解决马尔可夫决策过程（Markov Decision Process，MDP）中的控制问题。
深度强化学习（深度Q学习
shuijinghua的博客
03-06 3289
2013年，在DeepMind 发表的著名论文Playing Atari with Deep Reinforcement Learning中，他们介绍了一种新算法，深度Q网络（DQN）。文章展示了AI agent如何在没有任何先验信息的情况下通过观察屏幕学习玩游戏。结果令人印象深刻。这篇文章开启了被我们成为“深度强化学习”的新时代。这种学习算法是混合了深度学习与强化学习的新算法。每进行一个动作，a...
强化学习之基于无模型的算法之基于值函数的深度强化学习算法
最新发布
weixin_47480200的博客
04-30 773
DQN是一种将Q学习与深度神经网络结合的方法，用于解决高维状态空间的问题。它以环境的状态作为输入，通过神经网络输出每个动作的 Q 值，智能体根据 Q 值选择动作。利用经验回放机制，将智能体在环境中采集到的样本（状态、动作、奖励、下一个状态）存储到经验回放缓冲区中，然后随机从缓冲区中采样一批样本进行学习，以降低样本之间的相关性，提高学习效率。目标Q值yt​计算为：rttγγaQstaθθstaDQN的损失函数基于均方误差（MSE），用于衡量当前网络预测的Q值与目标Q值之间的差异。
深度 Q 学习
jianqimingtian的博客
10-23 291
Q-Learning是先决条件，因为它是 Q-Learning 为工作代理创建一个精确矩阵的过程，它可以“参考”该矩阵，以便从长远来看最大化其回报。体验重播是一种技术，其中代理将其体验的子集（状态、操作、奖励、下一个状态）存储在内存缓冲区中，并从该缓冲区中采样以更新 Q-function。因此，在此过程中，神经网络的目标是可变的，这与其他典型的深度学习过程不同，目标是静止的。深度 Q-Learning 是 Q-Learning 的一种变体，它使用深度神经网络来表示 Q-函数，而不是简单的值表。
关于深度 Q 学习
FM_1793的博客
10-10 424
深度 Q 学习（Deep Q-Learning，DQL）是一种强化学习（Reinforcement Learning，RL）方法，它结合了深度神经网络和 Q 学习算法，用于解决决策问题和控制问题。它的参数是通过周期性更新来固定的，以减少估计 Q 值与目标 Q 值之间的相关性。：深度 Q 学习使用一个 Q 值网络（也称为 Q 网络）来估计状态-动作对的 Q 值。ε是一个小的正数，以一定的概率随机选择行动，以便在不同的状态下探索未知的情况，而不仅仅是依赖于已知的最佳策略。
Deep QLearning算法详解（强化学习 Reinforcement Learning）
qq_41626059的博客
03-07 4033
首先要明白一个前提，这里介绍的是没有使用神经网络的qlearning，而不是Deep QLearning。而且算法不使用梯度下降，而是迭代更新。 一、算法详解 1.1 几个概念 1.1.1 什么是critic？ critic：批评家，评论家。 在这里算法要更新就是一个critic，而不是一个actor（agent），使用critic来间接指导actor做决策，critic的作用就是评估一个actor有多好，水平高不高。 1.1.2 状态价值函数Vπ(s)V ^{\pi }(s)Vπ(s)和状态动作价值函数Q
强化学习：Q-learning与DQN（Deep Q Network）
Leon_winter的博客
06-05 9164
文章目录Q-learningDQNexperience replayfix Q type   Q-learning是一种很常用的强化学习方法，DQN则是Q-learning和神经网络的结合。 Q-learning   首先要设计状态空间s，动作空间a，以及reward。 一次transition就是（s，a，w，s_） 一次episode就是 DQN Q-learning如果状态很多，动作很多时，需要建立的q表也会十分的庞大，因此 神经网络就是用来算动作的q-value的 为了帮助收敛 experience
深度强化学习研究笔记（3）——Deep Q-Network（DQN）（DQN问题引入，建模，一个Python小例子）
越野者的博客
03-26 5859
文章目录1. DQN问题描述 1. DQN问题描述 传统Q-learning方法难以处理真实场景下的高维数据，将大量的state和QQQ value存储在内存中会导致计算复杂。于是有研究者想到利用深度神经网络（DNN）来高维数据的强化学习问题，其核心思想是利用价值函数的近似（Value Function Approximation）求解，通过深度神经网络来表示QQQ值的近似分布。下图描述了如何利用...
DQN（deep Q-network）算法简述
星海浮生
03-11 5万+
基本概念；进阶技巧；连续动作的场景
强化学习 7—— 一文读懂 Deep Q-Learning（DQN）算法
热门推荐
靡不有初鲜克有终
08-10 5万+
上篇文章强化学习——状态价值函数逼近介绍了价值函数逼近（Value Function Approximation，VFA）的理论，本篇文章介绍大名鼎鼎的DQN算法。DQN算法是 DeepMind 团队在2015年提出的算法，对于强化学习训练苦难问题，其开创性的提出了两个解决办法，在atari游戏上都有不俗的表现。论文发表在了 Nature 上，此后的一些DQN相关算法都是在其基础上改进，可以说是打开了深度强化学习的大门，意义重大。 论文地址：Mnih, Volodymyr; et al. (2015). H
深度强化学习 - QLearning
01-30
Introduction of Q-Learning Tips of Q-Learning Q-Learning for Continuous Actions
deep-q-learning：Keras中的最小深度Q学习（DQN和DDQN）实现
02-05
深度学习 通过深度强化学习制作简单的游戏AI简介 Keras和Gym中最小和简单的深度Q学习实现。 不到100行代码！ 博客文章包含dqn.py代码的说明。 为了方便起见，我对该存储库进行了一些细微的调整，例如load和save功能。 我还使memory成为双端队列，而不只是列表。 这是为了限制内存中元素的最大数量。 训练对于dqn.py可能是不稳定的。 ddqn.py减轻了此问题。 我将在下一篇文章中介绍ddqn 。
AI学习笔记——深度Q-Learning(Deep Q-Learing(DQN))
weixin_33672109的博客
09-27 813
之前的文章介绍了Q-learning, 介绍了深度学习(Deep Learning)，DQN顾名思义就是将两者结合起来。DeepMind公司也就是用DQN从玩各种电子游戏开始，直到训练出阿尔法狗打败了人类围棋选手。本文就简单地介绍一下DQN的基本概念。 1. Q-Learning 和 深度学习回顾 Q-lea...
强化学习之深度Q函数
StepLeave的博客
06-28 1万+
背景：强化学习之深度Q函数
国创——深度Q学习算法
2301_80073593的博客
10-01 1204
深度Q - 学习是一种强化学习算法，用于解决马尔可夫决策过程（Markov Decision Processes，MDP）中的最优策略问题。在这种情况下，虚拟人物作为智能体（agent），在环境（environment）中通过一系列的动作（action）来最大化累积奖励（reward）。- 它基于Q - 学习算法，使用深度神经网络（Deep Neural Network，DNN）来近似Q - 函数（Q - function）。Q - 函数表示在给定状态（state）下采取某个动作的预期长期奖励。
深度Q学习——从入门到实践
qq_43653217的博客
09-01 5545
一.Q-learning q学习是强化学习中一种很经典的算法。 核心公式 Q（S，A）是当前状态下选择A的Q值。是学习率，这决定了Q值更新的快慢，一般我们都取1。是折扣因子，表示未来对现在的影响多少。 算法过程： Q-learning在训练的时候，ϵ−greedy策略被用来选择动作。机器随机生成一个数，如果这个数超过ϵ，那么就随机选择一个动作。反之，就选择当前Q值最大的动作，更新Q表。 得到Q表之后，当我们选择动作的时候，都是选择Q值最大的动作。 Q学习是一种长期决策，这一种长期而非.
深度Q学习神经网络（DQN）
qq_40004268的博客
06-08 2677
DeepMind技术的研究人员开发了一种称为Deep Q学习网络(DQN) 的方法，该方法受益于深度学习在学习最优策略的抽象表示方面的优势，即以最大化累积奖励总和的期望值的方式选择行动。它是前一个工作的延伸神经拟合Q学习(NFQ) 。DQN将深度卷积神经网络与最简单的强化学习方法(Q-learning)相结合。 相比于Q-Learning，DQN做的改进：一个是使用了卷积神经网络来逼近行为值函数，一个是使用了target Q network来更新target，还有一个是使用了经验回放Experience r
强化学习-李宏毅-算法02：DQN（Deep Q-Learning Network）【Deep Learning Network + Q-Learning 】
u013250861的博客
01-06 8750
DQN（Deep Q-Learning Network）可谓是深度强化学习（Deep Reinforcement Learning，DRL）的开山之作，是将深度学习与强化学习结合起来从而实现从感知（Perception）到动作（ Action ）的端对端（End-to-end）学习的一种全新的算法。由DeepMind在NIPS 2013上发表1，后又在Nature 2015上提出改进版本2。 - DQN（Deep Q-Learning Network）创新点： 1. 基于Q-Learning构造Loss
Deep Q-Network 学习笔记（五）—— 改进③：Prioritized Replay 算法
05-31
Prioritized Replay 是 Deep Q-Network (DQN) 中的一种重要改进算法。在传统的 DQN 算法中，模型训练是基于经验回放技术的。简单来说，就是将之前的一些观察和动作的经验随机地从经验池中抽取出来进行训练。但是，这种随机抽样并没有考虑到每个经验的重要性。有些经验虽然出现的次数很少，但是对模型的训练影响很大。因此，如果我们能够对经验进行优先级的排序，就能够更加有效地训练模型。 在 Prioritized Replay 算法中，我们使用了一个优先级队列来对经验进行排序。每个经验的优先级是根据其对模型训练的贡献来计算的。具体来说，每个经验的优先级为： $P_i = |\delta_i| + \epsilon$ 其中 $|\delta_i|$ 表示当前状态下真实 Q 值与估计 Q 值之差的绝对值，$\epsilon$ 是一个很小的常数，避免了某些经验的优先级为 0。这个公式的意思是，我们更倾向于选择那些真实 Q 值与估计 Q 值之差较大的经验进行训练。 在进行经验回放时，我们根据经验的优先级从优先级队列中抽取出经验。我们还需要一个重要的参数 $\alpha$，它表示优先级的重要程度。在优先级队列中，每个经验的优先级 $P_i$ 都会被赋予一个权重 $w_i$，它表示该经验在训练中的重要性。这个权重的计算公式为： $w_i = (\frac{1}{N} \frac{1}{P_i})^{\alpha}$ 其中 $N$ 是经验池中经验的总数，$\alpha$ 是一个超参数，控制优先级的重要程度。这个公式的意思是，优先级较高的经验在训练中得到的权重也较高，从而更加有效地更新模型。 需要注意的是，在 Prioritized Replay 算法中，我们对经验进行了优先级排序，但是这并不意味着我们只选择优先级高的经验进行训练。为了保证训练的稳定性，我们还需要引入一个随机因素，以一定的概率从优先级较低的经验中进行抽样。 总之，Prioritized Replay 算法通过对经验进行优先级排序，从而更加有效地训练模型。它是 DQN 算法的一个重要改进，被广泛地应用于深度强化学习领域。
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值