对于DQN的三大改进 - 这篇讲的好些

最新推荐文章于 2025-04-01 11:57:23 发布

weixin_33843947

最新推荐文章于 2025-04-01 11:57:23 发布

阅读量709

点赞数

文章标签：人工智能

本文精选了两篇关于人工智能算法的文章，第一篇详细介绍了算法的基础概念与应用实例；第二篇则深入探讨了算法的实际操作技巧及注意事项，对于从事算法开发工作的读者来说，这两篇文章都是不可多得的学习资源。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

可以看这篇文章：

https://blog.youkuaiyun.com/u013236946/article/details/73161586

这篇也讲的不错：

https://www.cnblogs.com/wangxiaocvpr/p/8110120.html

关注博主即可阅读全文

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

weixin_33843947

关注关注

0
点赞
踩
3

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

一切皆是映射：DQN算法改进历程与关键技术点

AI天才研究院

11-09

902

《一切皆是映射：DQN算法改进历程与关键技术点》关键词 DQN算法经验回放目标网络双Q学习优先经验回放马尔可夫决策过程

(6-4）Deep Q Network (DQN)算法：DQN的优化与改进

码农三叔

02-19

2321

实例文件Dueling.py的主要实现代码如下所示。

参与评论您还未登录，请先登录后发表或查看评论

深度强化学习6——DQN的改进方法

谢宜廷的博客

11-06

6584

在上一篇文章我们提到了DQN还存在的问题： 1）目标Q值的计算是否准确？全部通过max Q来计算有没有问题？ 2）随机采样的方法好吗？按道理不同样本的重要性是不一样的。 3）Q值代表状态，动作的价值，那么单独动作价值的评估会不会更准确？相应的改进方法是Double DQN、Prioritised Replay DQN、Dueling DQN，下面我们将一一介绍这些方法。 Doub...

机器学习-52-RL-04-Tips of Q-Learning(强化学习-Q学习的一些技巧:Double DQN&Dueling DQN&Prioritized Reply&Multi-step等)

迷雾总会解

01-23

1527

本片文章要讲的是训练 Q-learning 的一些 tips：Double DQN，Dueling DQN，Prioritized Reply，Multi-step(Balance between MC and TD)，Noisy Net(on Action vs on Q-function)，Distributional Q-function，Rainbow

DQN及其改进

最新发布

fjfdg666的博客

04-01

981

stst1ytrtγ⋅maxaQst1a;w)xiQixiEmeaniQi)]meanixi)EmaxiQi)]≥maxixi)Qsta;w)Qst1a;w)a∗aargmaxQst1a;w)ytrtγ⋅Qst1a∗;w−)Qst1a∗。

动手强化学习（七）：DQN 改进算法——Dueling DQN

与君共勉，一起学习

06-13

4569

之前介绍的 Q-learning、DQN 及 DQN 改进算法都是基于价值（value-based）的方法，其中 Q-learning 是处理有限状态的算法，而 DQN 可以用来解决连续状态的问题。在强化学习中，除了基于值函数的方法，还有一支非常经典的方法，那就是基于策略（policy-based）的方法。对比两者，基于值函数的方法主要是学习值函数，然后根据值函数导出一个策略，学.........

动手强化学习（八）：DQN 改进算法——Dueling DQN

与君共勉，一起学习

06-05

5245

动手强化学习（七）：DQN 改进算法——Dueling DQN1. 简介2. Dueling DQN3. Dueling DQN 代码实践4. 对 Q 值过高估计的定量分析总结文章转于伯禹学习平台-动手学强化学习（强推）本文所有代码均可在jupyter notebook运行与君共勉，一起学习。 1. 简介 DQN 算法敲开了深度强化学习的大门，但是作为先驱性的工作，其本身存在着一些问题以及一些可以改进的地方。于是，在 DQN 之后，学术界涌现出了非常多的改进算法。本章将介绍其中两个非常著名的算

第8章 DQN改进算法

qq_45481856的博客

09-06

1186

DQN算法敲开了深度强化学习的大门，但是作为先驱性的工作，其本身存在着一些问题以及一些可以改进的地方。于是，在DQN之后，学术界涌现出了非常多的改进算法。本章将介绍其中两个非常著名的算法：Double DQN 和Dueling DQN，这两个算法的实现非常简单，只需要在DQN的基础上稍加修改，他们能在一定程度上改善DQN的效果。如果读者想要了解更多、更详细的DQN改进方法，可以阅读Rainbow模型的论文机器引用文献。

DQN改进

jinbeibei0606的博客

08-18

354

double DQN学习：http://blog.youkuaiyun.com/u010214210/article/details/53791315

DQN三大改进(二)-Prioritised replay

weixin_34074740的博客

08-27

509

1、背景这篇文章我们会默认大家已经了解了DQN的相关知识，如果大家对于DQN还不是很了解，可以参考文章https://www.jianshu.com/p/10930c371cac。我们简单回顾一下DQN的过程(这里是2015版的DQN)： DQN中有两个关键的技术，叫做经验回放和双网络结构。 DQN中的损失函数定义为：其中，yi也被我们称为q-...

改进DQN算法 Double DQN算法 DuelingDQN算法

oceancoco的博客

11-22

435

第 8 章 DQN 改进算法 8.1 简介 DQN算法敲开了深度强化学习的大门，但是作为先驱性的工作，其本身存在着一些问题以及一些可以改进的地方。于是，在DQN之后，学术界涌现了非常多的改进算法。本章将介绍其中两个非常著名的算法：Double DQN和Dueling DQN，这两个算法的实现非常简单，只需要在DQN的基础上稍加修改，它们能在一定程度上改善DQN的效果。 8.2 Double DQN 普通的DQN算法通常会导致对Q值的过高估计（overestimate）。传统DQN优化的TD误差目标为 r+γ

DQN的多种改进（1）

热门推荐

B417科研笔记

03-08

3万+

1.N-step DQN N-step DQN的核心是将bellman方程展开，即 Q(st,at)=rt+γrt+1+γ2maxa′Q(st+2,a′)Q(s_t,a_t) = r_t + \gamma r_{t+1} + \gamma^2 max_{a&#x27;}Q(s_{t+2},a&#x27;)Q(st,at)=rt+γrt+1+γ2maxa′Q(st+2,a...

强化学习 9 —— DQN 改进算法 DDQN、Dueling DQN 详解与tensorflow 2.0实现

靡不有初鲜克有终

08-10

8513

上篇文章强化学习——详解 DQN 算法我们介绍了 DQN 算法，但是 DQN 还存在一些问题，本篇文章介绍针对 DQN 的问题的改进算法一、Double DQN 算法 1、算法介绍 DQN的问题有：目标 Q 值（Q Target ）计算是否准确？全部通过 max Qmax\;QmaxQ 来计算有没有问题？很显然，是有问题的，这是因为Q-Learning 本身固有的缺陷—过估计过估计是指估计得值函数比真实值函数要大，其根源主要在于Q-Learning中的最大化操作，对于 TD Target： r+γ

动手学强化学习第八章（DQN改进算法）

qq_47997583的博客

04-30

1956

文章目录第八章：DQN改进算法1.理论部分1.1 Double DQN1.2 Dueling DQN2.实践部分第八章：DQN改进算法 1.理论部分本部分主要是double DQN与Dueling DQN 1.1 Double DQN 回顾：首先回顾一下普通的DQN是如何更新参数的 Q(s,a)←Q(s,a)+α[r+γmax⁡a′∈AQ(s′,a′)−Q(s,a)] Q(s, a) \leftarrow Q(s, a)+\alpha\left[r+\gamma \max _{a^{\prime} \

第八章 DQN算法进阶

Byr0611的博客

12-23

1139

本章介绍DQN改进的一些算法，改进角度略有不同，例如Double DQN 及Dueling DQN主要从网络模型层面改进，而PER DQN则从经验回放的角度改进。算法各有不同，但本质都是从提高预测精度和控制过程中的探索度来改善DQN算法性能。

基于DQN的强化学习算法的收敛性分析

AI天才研究院

04-14

1219

基于DQN的强化学习算法的收敛性分析 1. 背景介绍强化学习(Reinforcement Learning, RL)是机器学习的一个重要分支,它通过与环境的交互来学习最优的决策策略。深度Q网络(Deep Q-Network, DQN)是强化学习中一种非常著名和成功的算法,它利用深度神经网络来逼近Q函数,从而解决复杂环境下的强化学习问题

强化学习笔记2——策略梯度算法，A2C,A3C

qq_48342932的博客

01-24

1723

1.无法表示连续动作，DQN需要对某个状态下的每个动作打分，因此它们只能处理离散动作空间的问题，无法表示连续动作空间的问题。2.高方差：基于价值的方法通常都是通过采样的方式来估计价值函数，这样会导致估计的方差很高，从而影响算法的收敛性。3.探索与利用的平衡问题。虽然可以通过 ϵ-greedy 策略等方式来实现一定程度的随机策略，但是实际上这种方式并不是很理想，因为它并不能很好地平衡探索与利用的关系。

【ZJU-Machine Learning】强化学习

SuperSources的博客

02-01

765

强化学习与监督学习的区别：（1）训练数据中没有标签，只有奖励函数（Reward Function）。（2）训练数据不是现成给定，而是由行为（Action）获得。（3）现在的行为（Action）不仅影响后续训练数据的获得，也影响奖励函数（Reward Function）的取值。（4）训练的目的是构建一个“状态->行为”的函数，其中状态（State）描述了目前内部和外部的环境，在此情况下，要使一个智能体（Agent）在某个特定的状态下，通过这个函数，决定此时应该采取的行为。希望采取这些行为后，最终

用Double-DQN方法解决简单迷宫寻路问题

qq_27113307的博客

01-21

2580

环境描述：25*25离散的栅格图，起点左上角，终点右下角，障碍物1*1随机分布，动作空间维度2：向右，向下。每次移动奖励-1，遇到障碍物或移动出环境奖励-100，到终点奖励20. 注：针对这个任务期望SARSA、Q-learning等方法能够快速有效完成，用DQN方法试了很长时间loss都不收敛，猜测应该是训练不够；DoubleDQN方法也训练了很长时间，关键点在于epsilon探索了不能够下降太快。代码： import torch from torchviz import mak...

DQN算法实现pendulum-v1

05-13

好的，DQN算法是一种比较经典的深度强化学习算法。Pendulum-v1是一个经典的强化学习环境，其中智能体需要控制一个单摆来保持竖直。下面是DQN算法在Pendulum-v1环境中的实现步骤： 1. 确定状态空间、动作空间和奖励函数：在Pendulum-v1环境中，状态空间为一个三维向量，包括单摆的角度、角速度和角加速度。动作空间为一个连续的动作，即施加的扭矩大小。奖励函数为当前状态下的负平方误差。 2. 构建深度神经网络：使用深度神经网络作为Q函数的估计器。神经网络的输入是当前状态，输出是每个动作的Q值。 3. 初始化经验回放缓存：使用经验回放机制来平衡数据的相关性和效率。将所有的经验数据存储在一个缓存池中，每次训练时从中随机采样一批数据进行训练。 4. 进行训练：在每个时间步中，智能体根据当前状态选择一个动作，使用选择的动作与环境进行交互，得到下一个状态和奖励，将这些经验加入经验回放缓存中。然后从经验回放缓存中随机采样一批数据进行训练，并更新深度神经网络的参数。 5. 执行策略：在每个时间步中，根据当前状态和深度神经网络的参数计算出每个动作的Q值，选择具有最大Q值的动作执行。 6. 调整超参数：根据实验效果调整超参数，如神经网络的结构、学习率、折扣因子等。以上就是DQN算法在Pendulum-v1环境中的实现步骤，需要注意的是，由于动作空间是连续的，所以需要采用一些技巧来处理。比如可以使用深度确定性策略梯度（DDPG）算法来解决连续动作空间的问题。