强化学习（九）Deep Q-Learning进阶之Nature DQN

最新推荐文章于 2025-11-08 00:59:17 发布
最新推荐文章于 2025-11-08 00:59:17 发布
阅读量1.2k 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： 手把手教你ML机器学习算法源码全解析
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/wenyusuran/article/details/97893047
本文深入探讨了Deep Q-Learning (DQN) 的改进版——Nature DQN，针对DQN存在的问题，Nature DQN引入了两个Q网络以减少目标Q值与当前Q网络参数间的依赖，通过延时更新目标Q网络参数来改善算法的收敛性。文中详细介绍了Nature DQN的建模、算法流程，并给出了CartPole-v0游戏的实例，展示了算法在不同迭代阶段的表现。

　　在强化学习（八）价值函数的近似表示与Deep Q-Learning中，我们讲到了Deep Q-Learning（NIPS 2013）的算法和代码，在这个算法基础上，有很多Deep Q-Learning(以下简称DQN)的改进版，今天我们来讨论DQN的第一个改进版Nature DQN(NIPS 2015)。

　　　　本章内容主要参考了ICML 2016的deep RL tutorial和Nature DQN的论文。

1. DQN(NIPS 2013)的问题

　　　　在上一篇我们已经讨论了DQN(NIPS 2013)的算法原理和代码实现，虽然它可以训练像CartPole这样的简单游戏，但是有很多问题。这里我们先讨论第一个问题。

　　　　注意到DQN(NIPS 2013)里面，我们使用的目标Q值的计算方式：

yj={RjRj+γmaxa′Q(ϕ(S′j),A′j,w)is_endjistrueis_endjisfalseyj={Rjis_endjistrueRj+γmaxa′Q(ϕ(Sj′),Aj′,w)is_endjisfalse

　　　　这里目标Q值的计算使用到了当前要训练的Q网络参数来计算Q(ϕ(S′j),A′j,w)Q(ϕ(Sj′),A

了解本专栏 订阅专栏 解锁全文
【Pytorch项目实战】之强化学习：Q-Learning、SARSA、DQN
shinuone的博客
01-31 1445
Q-Learning、SARSA、深度Q网络（Deep Q Network，DQN）、策略梯度（Policy Gradients）等。：环境（Environment）、主体（Agent）、状态（State）、动作（Action）、奖励（Reward）的行动策略，有些动作将始终无法选择，进而导致无法更新Q值，将不利于发现更有价值的情况。问题1：（1）在实际应用下，由于场景很复杂，很难定义出离散且有限的状态和动作。若安装失败就多试几次。问题2：（2）即使能够定义，数量非常大的情况下，无法用数组存储。
机器学习 | 细说Deep Q-Network（DQN）
知识库搭建ing
04-17 1170
DQN用神经网络替代Q表，实现从状态到动作价值的映射（Q函数近似）。
强化学习基础 | (9) Deep Q-Learning进阶之Nature DQN
sdu_hao的博客
08-24 639
在价值函数的近似表示与Deep Q-Learning中，我们讲到了Deep Q-Learning（NIPS 2013）的算法和代码，在这个算法基础上，有很多Deep Q-Learning(以下简称DQN)的改进版，今天我们来讨论DQN的第一个改进版Nature DQN(NIPS 2015)。 本章内容主要参考了ICML 2016的deep RL tutorial和Nature DQN的论文。 文章目录1. DQN(NIPS 2013)的问题2. Nature DQN的建模3. Nature DQN的算法流程
DQN变体：Nature DQN
m0_37663944的博客
12-16 591
这篇文章主要讨论DQN的变体，Nature DQN。 解决问题 它主要解决了DQN算法的一个问题，也就是相关依赖问题，收敛速度比较慢。 还记得计算当前目标QQQ值yjy_jyj​的公式是： yj={Rj  is_endj is trueRj+γmaxa′Q(ϕ(Sj′),Aj′,w)  is_endj is false...
最完整Nature DQN实现拆解：从代码到Atari游戏通关
最新发布
gitblog_00530的博客
11-08 766
你还在为强化学习算法落地头疼？本文将以Dopamine框架为例，详解深度卷积Q网络（Deep Q-Network, DQN）的核心实现细节。读完你将掌握： - DQN关键组件的代码实现 - Nature论文参数配置解析 - 从0开始训练Atari游戏AI的完整流程 ## DQN算法核心原理 DQN通过深度卷积网络逼近Q值函数，结合经验回放（Experience Replay）和目标网络（Tar
强化学习|多智能体深度强化学习(博弈论—＞多智能体强化学习)
太剧烈的快乐与太剧烈的悲哀是有相同之点的——同样地需要远离人群！
09-24 1万+
1 简介 近年来，AlphaGo代表的“决策智能备受关注”，即将来临的物联网时代，群体决策智能将成为另一个研究重点。 说到群体决策智能，就免不了提及博弈论。博弈论研究的是多个智能体的理性决策问题。它定义了动作、收益等博弈的基本概念，侧重分析理性智能体的博弈结果，即均衡。 然而，在很多现实问题中，博弈的状态空间和动作空间都很大，智能体的绝对理性很难实现，智能体往往处在不断的策略学习过程中。近年来兴起的多智能强化学习主要研究智能体策略的同步学习和演化问题。 ...
【强化学习】 Nature DQN算法与莫烦代码重现（tensorflow)
Sunctam的博客
04-18 6429
DQN,(Deep Q-Learning)是将深度学习与强化学习相结合。在Q-learning中，我们是根据不断更新Q-table中的值来进行训练。但是在数据量比较大的情况下，Q-table是无法容纳所有的数据量，因此提出了DQN。DQN的核心就是把Q-table的更新转化为函数问题，通过拟合一个function来代替Q-table产生Q值。 一、DQN算法原理 强化学习算法可以分为三大类：value based,policy based和actor critic。以DQN为代表的是value base
DQN（Nature DQN）算法流程讲解
weixin_42798751的博客
04-14 1万+
DQN相较于传统的强化学习算法（Q-learning）有三大重要的改进： （1）引入深度学习中的神经网络，利用神经网络去拟合Q-learning中的Q表，解决了Q-learning中，当状态维数过高时产生的“维数灾难”问题； （2）引入目标网络，利用延后更新的目标网络计算目标Q值，极大的提高了网络训练的稳定性和收敛性； （3）引入经验回放机制，使得在进行网络更新时输入的数据符合独立同分布，打破了数据间的相关性。 上图是DQN的详细算法流程，讲解如下： 首先，算法开始前随机选择一个初始状态，然.
深度强化学习5——Deep Q-Learning(DQN)
谢宜廷的博客
11-05 6794
之前大量叙述了强化学习的基本原理，至此才开始真正的深度强化学习的部分。2013和2015年DeepMind的Deep Q Network（DQN）它用一个深度网络代表价值函数，依据强化学习中的Q-Learning，为深度网络提供目标值，对网络不断更新直至收敛。用DQN从玩各种电子游戏开始，直到训练出阿尔法狗打败了人类围棋选手。本篇文章也主要围绕DeepMind的论文Playing Atari wi...
深度Q网络（Deep Q-Network, DQN）
Rhett_Butler0922的博客
04-25 1025
强化学习的目标是让智能体在环境中通过**试错（Trial-and-Error）**学习一个策略（Policy），以最大化长期的累积奖励（Cumulative Reward）。与监督学习不同，强化学习中没有明确的标签数据，智能体只能通过环境的反馈（奖励）来评估自己的行为。智能体（Agent）：决策者，执行动作。环境（Environment）：智能体交互的对象，提供状态和奖励。状态（State,s∈Ss∈S：描述环境当前的情况。动作（Action,a∈Aa∈A。
强化学习（三）：DQN、Nature DQN、Double DQN，附源码解读
weixin_44570248的博客
08-02 3253
强化学习（三）：DQN、Nature DQN、Double DQN，附源码解读 这不最近在学莫烦的强化学习嘛，有一点好处就是他讲的课虽然有一些一知半解，但是在网上再查查博客结合一下他的代码就能有比较清晰的理解了。 这篇文章就介绍一下我对DQN以及其改进算法的理解和莫烦python代码的部分解读。 1 DQN 传统的强化学习存在当状态过多维度爆炸的问题，如果全用表格来存储它们，恐怕计算机内存会不够，而且每次在这么大的表格中搜索对应的状态也是一件很耗时的事，采用机器学习中的神经网络进行替代能够很好解决这个问题。
AutoDrive:Raspberry Pi的自动驾驶。 （监督和强化学习技术）
05-12
通过监督和强化学习进行自动驾驶 使用树莓派和机器学习算法进行自动驾驶的代码中找到我的方法的说明：％ 这是车：
系统学习深度学习（三十一）--Nature DQN(NIPS 2015)
工作笔记
06-16 3420
转自：https://www.cnblogs.com/pinard/p/9756075.html 1. DQN(NIPS 2013)的问题 　　　　在上一篇我们已经讨论了DQN(NIPS 2013)的算法原理和代码实现，虽然它可以训练像CartPole这样的简单游戏，但是有很多问题。这里我们先讨论第一个问题。 　　　　注意到DQN(NIPS 2013)里面，我们使用的目标Q值的计算方式： ...
Nature DQN为什么会存在过估计？
OsgoodWu的博客
12-28 5474
谈到过估计(overestimate)问题的时候，我们需要先交代一下背景，现在训练神经网络的时候，不是一张图一张图的进行训练，我们是通过一个batch一个batch去训练，每个batch里面包含了N张图，所以经常在看到别的网络参数的时候会有一个batch size的参数。 假设N=32，就是32张图分别经过CNN网络计算，然后计算出32个Loss，然后会把这32个Loss求和或者求平均转换成1个L
强化学习 7—— 一文读懂 Deep Q-Learning（DQN）算法
热门推荐
靡不有初鲜克有终
08-10 6万+
上篇文章强化学习——状态价值函数逼近介绍了价值函数逼近（Value Function Approximation，VFA）的理论，本篇文章介绍大名鼎鼎的DQN算法。DQN算法是 DeepMind 团队在2015年提出的算法，对于强化学习训练苦难问题，其开创性的提出了两个解决办法，在atari游戏上都有不俗的表现。论文发表在了 Nature 上，此后的一些DQN相关算法都是在其基础上改进，可以说是打开了深度强化学习的大门，意义重大。 论文地址：Mnih, Volodymyr; et al. (2015). H
树莓派4b之搭载深度学习环境 python+pytorch+jupyter
六五酥的博客
03-29 2979
本文使用树莓派4b，系统版本buster 教程一：树莓派4b搭建PyTorch(for buster) 1、根据上面的教程一安装python3.5，再安装pytorch， 2、用sudo apt install jupyter 安装jupyter 3、将默认的python3.7替换为python3.5，因为提供的那个pytorch不支持3.7 先删除之前python的连接 sudo rm /usr...
用树莓派4b构建深度学习应用（六）TensorFlow Lite篇
深度觉醒
09-05 5505
前言上回我们建立了 tensorflow 的开发环境，跑测试模型比较方便，但对于树莓派来说，还是太庞大了。仅有 0.3fps 无法满足实时的生产环境需求，这篇我们部署一下专门为移动端和嵌...
树莓派3b+玩转深度学习
qq_33287871的博客
08-16 1179
TengineOADI/Tengine | github Tengine 是OPEN AI LAB为嵌入式设备开发的一个轻量级、高性能并且模块化的引擎。 Tengine在嵌入式设备上支持CPU，GPU，DLA/NPU，DSP异构计算的计算框架，实现异构计算的调度器，基于ARM平台的高效的计算库实现，针对特定硬件平台的性能优化，动态规划计算图的内存使用，提供对于网络远端AI计算能力的访问支持，支持多...
树莓派自动驾驶项目：结合监督和强化学习技术
weixin_35592186的博客
07-26 1050
在监督学习领域，有许多经典的算法被广泛使用。这些算法包括：线性回归（Linear Regression）：用于预测连续的输出值，是回归问题中的基础模型。逻辑回归（Logistic Regression）：用于解决二分类问题，它通过逻辑函数将线性回归的输出映射到(0, 1)区间。决策树（Decision Tree）：模仿人类决策过程的算法，通过构建树状结构模型进行决策。
深度强化学习系列论文：DQN模型与算法的创新研究
而DQN（Deep Q-Network）是深度强化学习的一个重要里程碑，由Volodymyr Mnih等人在2015年提出，其论文《Human-level control through deep reinforcement learning》发表于Nature，标志着深度学习与强化学习结合的新...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

文宇肃然

精神和物质鼓励你选一个吧

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值