强化学习—— Dueling Network

最新推荐文章于 2025-10-20 11:11:39 发布
原创 最新推荐文章于 2025-10-20 11:11:39 发布 · 2.2k 阅读 · 5 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#python #算法 #人工智能 #强化学习

本文介绍了强化学习中的优势函数及其性质，探讨了Dueling Network如何通过分离估算状态价值和优势值来提高学习效率，并详细讲述了训练过程中的技巧。关键在于解决最优优势函数的唯一性问题，以优化网络结构和训练效果。

强化学习—— Dueling Network

1、优势函数（Advantage Function）

1.1 概念定义

  • 折扣回报： U t = r t + γ r t + 1 + γ 2 r t + 2 + . . . U_t=r_t+\gamma r_{t+1}+\gamma^2r_{t+2}+... Ut​=rt​+γrt+1​+γ2rt+2​+...
  • 动作价值函数： Q π ( s t , a t ) = E [ U t ∣ A t = a t , S t = s t ] Q_\pi(s_t,a_t)=E[U_t|A_t=a_t,S_t=s_t] Qπ​(st​,at​)=E[Ut​∣At​=at​,St​=st​]
  • 状态价值函数： V π ( s t ) = E A [ Q π ( s t , A ) ] V_\pi(s_t)=E_A[Q_\pi(s_t,A)] Vπ​(st​)=EA​[Qπ
最低0.47元/天 解锁文章
在线学习的深度强化学习——Online Reinforcement Learning for Learning
AI天才研究院
09-01 3696
在人工智能和机器学习领域，深度强化学习（Deep Reinforcement Learning，DRL）已经成为一个备受关注的研究方向。传统的强化学习方法在处理高维状态空间和复杂决策问题时往往力不从心，而深度强化学习通过结合深度学习的强大表示能力，极大地扩展了强化学习的应用范围。然而，在实际应用中，我们常常面临着动态变化的环境和持续输入的数据流，这就要求学习算法能够实时地适应新的情况，不断调整和优化决策策略。在线学习（Online Learning）作为机器学习的一个重要分支，专门解决在。
强化学习之Dueling DQN对DQN的改进——以倒立摆环境（Inverted Pendulum）为例
佚名
08-07 735
结论：相比传统的DQN，Dueing DQN在多个动作选择下的学习更加稳定，得到的回报最大值也更大，由Dueling DQN 原理知随着动作空间增大，Dueling DQN相比DQN优势更加明显。本实验中离散动作数设置为11，可以增加动作数（例如15,25,30等），继续对比实验，实验效果更为明显。通过前面的推导，我们得到了Dueling Network的数学形式为。当然我们可以改变网络结构，加大隐藏层数量， 更改神经网络结构如下所示。当然我们神经网络也可以写成如下形式，是等价的。6.训练DQN函数实现。
Dueling Network
然后就去远行
08-06 775
从图9中可以看出，在传统DQN中，DQN的神经网络直接输出Q函数的值，即某个状态下不同动作对应的动作价值，输出层的前一层是全连接层。Dueling Network对DQN的结构改进主要在全连接层上，它在全连接层和输出层之间进行修改，将全连接层改为两条流，其中一条输出关于状态的价值，另外一条输出关于动作的优势函数的值，最终将两条流合并得到Q动作价值。所以优势函数表示的是当前动作值函数相比于当前状态值函数的优势，如果优势值大于零，表示当前动作比平均动作好，如果优势函数值小于0，表示当前动作比平均动作差。
强化学习（二）优势函数
最新发布
更木的博客
10-20 414
优势函数通常记为AπsaAπ​sa（下标π\piπ表示基于当前策略π\piπAπsaQπsa−VπsAπ​saQπ​sa−Vπ​s优势函数是强化学习中连接状态价值与动作价值的关键桥梁，其核心价值在于“剥离状态固有价值，聚焦动作的相对贡献”。通过精准衡量动作的优势，它不仅能提升策略更新的准确性，还能降低价值估计的方差，是A2C、PPO等主流强化学习算法的核心组件，对算法的稳定性和收敛性能至关重要。
DQN三大改进(三)-Dueling Network
weixin_34008805的博客
10-10 1712
1、Dueling Network 什么是Dueling Deep Q Network呢？看下面的图片 上面是我们传统的DQN，下面是我们的Dueling DQN。在原始的DQN中，神经网络直接输出的是每种动作的 Q值, 而 Dueling DQN 每个动作的 Q值 是有下面的公式确定的： 它分成了这个 state 的值, 加上每个动作在这个 sta...
【DQN高级技巧3】Dueling Network
qq_44319285的博客
10-17 490
Dueling Network
强化学习（二）——Dueling Network（DQN改进）
weixin_42529756的博客
12-10 1207
强化学习DQN优化，使用优势函数代替之前的动作价值函数，Dueling Network可以使用所有DQN的优化方法进行学习，如replay buffer, DDQN等
强化学习—Dueling Network
Tony Wey的博客
08-08 398
最优优势函数是由最优动作价值函数和最优状态函数结合而成。
Dueling Network:在没有浏览器的决斗网络上玩，并且没有延迟！-开源
05-30
优点：游戏处于大屏/全屏模式，因此您可以根据需要调整窗口大小，并且可以全屏显示。 其高清分辨率。 您不需要使用使您的游戏运行速度变慢的浏览器。 这里的游戏运行得更流畅、更快。 缺点：目前仅针对 Windows PC 发布。 稍后，它将针对 Mac、Linux、Andorid 和 IOS 发布（因此它的缺点并不大）。
基于Pytorch的强化学习(DQN)之 Dueling Network
ZDDWLIG的博客
03-31 1301
目录 1. 引言 2. 数学推导 2.1 最优价值函数 2.2 最优状态函数 2.3 优势函数 3. 网络结构 3.1 优势网络 3.2 状态网络 3.3 新的DQN 1. 引言 我们之前学习了许多DQN的优化技巧，现在我们再来看看一种有趣的DQN的优化:Dueling network 2. 数学推导 2.1 最优价值函数 我们之前已经学过了最优价值函数，这里的是动作价值函数，最优指的是对策略求最优。 2.2 最优状态函数 类比于最优价值函数，我们给出最优...
强化学习笔记：对决网略（dueling network）
qq_40206371的博客
05-26 3200
对决网络 (Dueling Network)是对 DQN 的神经网络的结构的改进。 它基本想法是将最优动作价值 Q⋆ 分解成最优状态价值 V⋆ 与最优优势 D⋆。 1 最优优势函数 1.1 回顾一些基础知识 动作价值函数 最优动作价值 状态价值函数：Q(s,a)关于a的期望 最优价值函数 1.2 最优优势函数 由于是指定了s和a之后的最优值，a不一定是使得V(s)最大的那个action，所...
论文笔记：Dueling Network Architectures for Deep Reinforcement Learning
彩虹糖的博客
09-17 916
题目：Dueling Network Architectures for Deep Reinforcement Learning 来源：ICML 2016 Best Paper 摘要 在最近几年中，在强化学习中使用深度学习的表示取得了很大的成功。这些应用依然使用了比较传统的架构。比如卷积网络，LSTM或者自动编码器。在本文中，作者提出了一个新的用于model free强化学习的神经网络...
【强化学习】Dueling Network Architectures for Deep Reinforcement Learning (2016)
HTS's Blog
04-30 1610
作者认为估计每个action的价值是没有必要的，例如在Enduro游戏中，仅仅当碰撞要发生时，判断左转还是右转才是有效的。在一些状态下，知道该做什么action是首要重要的，但是在一些其他状态下，action的选择对于产生的结果是没有影响的。然而state value的估计对于每个状态是至关重要的。作者说这个方法在存在多个相似的action时效果很好。 所以作者重新定义了Q值： V表示state...
《边做边学深度强化学习：PyTorch程序设计实践》——6.3Dueling Network
longgegeo的博客
01-26 1704
实际上，adv的大小是[minibatch的大小×动作类型的数量]，val的大小是[minibatch的大小×1]。因此，在求val时，使用expand调整它的大小，使其成为[minibatch的大小×动作的数量]。在Net类的初始化函数中，与DDQN类似地构建输入层fc1和第一个隐藏层fc2，在最后创建与Advantage有关的层fc3_adv和与状态价值有关的层fc3_v。组成的部分，和该动作确定的部分。相关的网络连接参数，学习所需的实验轮数比DQN更少，随着动作选择的增加，优势更加明显。
王树森强化学习笔记——dueling network
xianyuqishi的博客
09-05 745
王树森强化学习笔记——dueling network
DQN变体：Dueling network的简单解读与实现
m0_63642362的博客
11-28 3133
【强化学习算法】简单讲解Dueling network论文及其基本原理，并用飞桨实现
强化学习之Advantage优势函数
loxs
03-07 1700
SSSAAAPs′∣saP(s'|s,a)Ps′∣saRsaR(s,a)Rsaγ\gammaγ状态值函数（Value Function）VπsEπ∑t0∞γtrt∣s0sVπsEπ​t0∑∞​γtrt​∣∣∣​s0​s该函数衡量在状态sss下，遵循策略π\piπ所能获得的期望累积回报。动作值函数（Q-Value Function）QπsaEπ∑t0∞γ。
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值