深度强化学习中的NAF算法-连续控制（对DQN的改进）

最新推荐文章于 2025-05-15 12:43:28 发布
最新推荐文章于 2025-05-15 12:43:28 发布
阅读量5.7k 收藏 5
点赞数
CC 4.0 BY-SA版权
分类专栏： 机器学习 深度强化学习 算法 文章标签： 深度强化学习 算法 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/zhaoying9105/article/details/73503604
NAF算法是对DQN的改进，用于处理连续动作空间的强化学习问题。它引入Advantage函数A(s,a)，通过神经网络同时输出Q值和动作a。算法基于一个二次型的Advantage函数，其中状态x、动作u和网络预测的动作μ是关键元素。尽管公式复杂，但NAF提供了一种更有效的策略来决定在特定状态下每个动作的优劣。" 7352712,1069838,Struts2.0配置详解：通配符与流类型结果,"['struts', 'struts2.0', 'action', 'jsp', 'json']

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

DQN算法以及之前的种种改进都是面向离散的action的，DQN算法没有办法面向连续的action，因为Q值更新的时候要用到求最大的action。


本来DQN主要是输出Q值的，aciton是通过argmax顺便实现的，但是现在NAF需要用神经网络输出了，那么就是同时输出Q 和 a。

基本的idea就是引入了Advantage函数A（s,a），也就是每一个动作在特定状态下的优劣。

A(a) = -P(a-x)^2P为正

Q(s,a) = A(s,a) + V(s)



上式是A的矩阵表示，也就是一个二次型。其中x是状态，u是动作，mu是神经网络的输出动作。

那么令

最低0.47元/天 解锁文章

200万优质内容无限畅学
强化学习-学习笔记15 | 连续控制
「 虚幻私塾」
07-15 711
连续动作空间有无穷多种动作数量离散动作空间，使用标准DQN或者策略网络进行学习，但是容易引起维度灾难使用确定策略网络进行学习没有随机性，某些情境下不合适。随机策略网络（μμ\mu与σ2σ2\sigma^2）构造辅助神经网络f(s,a;θ)f(s,a;θ)f(s,a;\theta)计算策略梯度；策略梯度近似算法包括reinforce、Actor-Critic算法可以改进reinforce算法，使用带有baseline的reinforce算法本系列完结撒花！...
深度强化学习6——DQN的改进方法
谢宜廷的博客
11-06 6581
在上一篇文章我们提到了DQN还存在的问题： 1）目标Q值的计算是否准确？全部通过max Q来计算有没有问题？ 2）随机采样的方法好吗？按道理不同样本的重要性是不一样的。 3）Q值代表状态，动作的价值，那么单独动作价值的评估会不会更准确？ 相应的改进方法是Double DQN、Prioritised Replay DQN、Dueling DQN，下面我们将一一介绍这些方法。 Doub...
强化学习——连续控制
菜到怀疑人生的博客
04-18 3432
文章目录前言连续控制DPGDPG的优化目标On-Policy DPGOff-Policy DPG 前言 本文总结《深度强化学习》中连续控制章节的内容，如有错误，欢迎指出。 连续控制 前面几篇博客总结的强化学习方法，动作空间都是离散有限的。但动作空间不一定总是离散的，也可能是连续的，例如驾驶车辆，汽车转向角度的动作空间就是连续的。针对上述问题，一个可行的解决方案是将动作空间离散化，除此之外，可以直接使用连续控制相关的强化学习方法。本文将总结确定策略梯度算法（DPG）。 DPG DPG属于策略学习的方法。具
强化学习（七）时序差分离线控制算法Q-Learning
最新发布
comli_cn的博客
05-15 735
Q-Learning算法的拓扑图以及价值函数的更新公式如下图所示：首先我们基于状态SSS，用ϵ\epsilonϵ−贪婪法选择到动作AAA，然后执行动作AAA，得到奖励RRR，并进入状态S′S'S′，此时，如果是SARSA，会继续基于状态S′S'S′，用ϵ\epsilonϵ−贪婪法选择A′A'A′，然后来更新价值函数。但是Q-Learning则不同。对于Q-Learning，它基于状态S′S'S′，没有使用ϵ\epsilonϵ−贪婪法选择A′。
强化学习笔记_8_连续控制
k_kun的博客
12-31 562
强化学习-连续控制策略
强化学习笔记：连续控制 & 确定策略梯度DPG
qq_40206371的博客
05-29 1894
1 离散控制与连续控制 之前的无论是DQN,Q-learning,A2C,REINFORCEMENT,SARSA什么的，都是针对离散动作空间，不能直接解决连续控制问题。 考虑这样一个问题：我们需要控制一只机械手臂，完成某些任务，获取奖励。机械 手臂有两个关节，分别可以在 [0◦, 360◦] 与 [0◦, 180◦] 的范围内转动。这个问题的自由度 是 d = 2，动作是二维向量，动作空间是连续集合 A = [0, 360] × [0, 1...
强化学习笔记：连续控制与 MADDPG
qq_40206371的博客
06-03 1828
多智能体强化学习：合作关系设定下的多智能体强化学习_UQI-LIUWJ的博客-优快云博客非合作关系设定下的多智能体强化学习_UQI-LIUWJ的博客-优快云博客都是对A2C的多智能体改进，仅限于离散控制。我们现在研究连续控制问题：也就是动作空间都是连续集合，动作是向量。设系统里有 m 个智能体。每个智能体对应一个策略网络和一个价值网络 这里的期望是关于状态S求的。我们可以使用蒙特卡洛近似，从经验回放数组中随机抽取一个状态 它可以看做是随机变量 S 的一个观测值。用所有 m 个策略网络计算动作这里 ，于是
深度强化学习4：Q-learning更高阶的算法
qq_38888209的博客
08-14 634
【李宏毅深度强化学习笔记】4、Q-learning更高阶的算法 ...
【李宏毅深度强化学习笔记】4、Q-learning更高阶的算法
ACL_lihan的博客
01-21 6122
【李宏毅深度强化学习笔记】1、策略梯度方法（Policy Gradient） 【李宏毅深度强化学习笔记】2、Proximal Policy Optimization (PPO) 算法 【李宏毅深度强化学习笔记】3、Q-learning（Basic Idea） 【李宏毅深度强化学习笔记】4、Q-learning更高阶的算法（本文） 【李宏毅深度强化学习笔记】5、Q-learning用于连续动...
强化学习课程学习（6）——基于深度学习方法求解RL
Cecilia
06-22 888
在之前讲到了强化学习求解方法，无论是动态规划DP，蒙特卡罗方法MC，还是时序差分TD，使用的状态都是离散的有限个状态集合SSS。此时问题的规模比较小，比较容易求解。但是假如我们遇到复杂的状态集合呢？甚至很多时候，状态是连续的，那么就算离散化后，集合也很大，此时我们的传统方法，比如Q-Learning，根本无法在内存中维护这么大的一张Q表。对此，随着深度学习地方法的发展兴起，基于深度学习的算法模型开始流行起来——Deep Q-learning、Nature DQN、Double DQN、Prioritized
强化学习入门（六）：Q-learning系列算法3：连续动作（NAF）
weixin_45459911的博客
04-18 2409
本文是在https://blog.youkuaiyun.com/acl_lihan/article/details/104076938的基础上进行了部分改动，加上了一点个人理解，原博客写的非常好，不妨一同查阅。 普通的Q-learning比policy gradient比较容易实现，但是在处理连续动作（比如方向盘要转动多少度）的时候就会显得比较吃力。 因为如果action是离散的几个动作，那就可以把这几个动作...
Continuous Control with Deep Reinforcement Learning持续控制与深度强化学习
12-23
我们将深度Q-Learning成功背后的理念与持续的 动作域。我们提出了一种基于确定性模型的无模型算法 可以在连续动作空间上操作的策略梯度。使用 同样的学习算法，网络结构和超参数，我们的算法 稳健地解决20多个模拟物理任务，包括经典 如手推车摆动、灵巧操作、腿部运动等问题 还有开车。我们的算法能够找到性能具有竞争力的策略 与那些发现的规划算法完全访问的动态 域及其衍生物的。我们进一步证明，对于许多 任务算法可以“端到端”学习策略：直接从原始像素输入。
pytorch-ddpg-naf:实现连续控制算法（DDPG和NAF）
05-10
弃用 该存储库已弃用，不再维护。 请在查看RL的最新实现以进行连续控制。 描述 重新实现并。 欢迎捐款。 如果您知道如何使其更稳定，请随时发送拉取请求。 跑步 使用默认的超参数。 对于NAF： python main.py --algo NAF --env-name HalfCheetah-v2 对于DDPG python main.py --algo DDPG --env-name HalfCheetah-v2
RLlab:DQN，NAF，DDPG的pytorch实现
05-14
实验室 RL算法的某些实现主要使用pytorch。 目前已实施： DQN DDPG 资产净值 优势演员克里蒂 安装： git clone 跑步： 安装后，只需运行main.py
Deep Reinforcement Learning深度强化学习
04-03
Deep Reinforcement Learning深度强化学习Deep Reinforcement Learning, 2017
【从RL到DRL】深度强化学习基础（五）离散控制与连续控制——确定策略梯度方法（DPG）、使用随机策略进行连续控制
Vulcan_Q的博客
10-22 1244
本文为深度强化学习基础的第五篇，介绍了从离散控制进阶到连续控制，分别介绍了确定策略梯度方法进行连续控制，以及使用随机策略进行连续控制
强化学习笔记【8】DQN连续动作
qq_41030408的博客
08-04 1661
该系列主要是听李宏毅老师的《深度强化学习》过程中记下的一些听课心得，除了李宏毅老师的强化学习课程之外，为保证内容的完整性，我还参考了一些其他的课程，包括周博磊老师的《强化学习纲要》、李科浇老师的《百度强化学习》以及多个强化学习的经典资料作为补充。 使用说明 笔记【4】到笔记【11】为李宏毅《深度强化学习》的部分； 笔记 【1】和笔记【2】根据《强化学习纲要》整理而来； 笔记 【3】和笔记【12】根据《百度强化学习》整理而来。 这一章的内容比较少，主要讲解了Q-learning在处理连续动作时的...
【强化学习论文解读 1】 NAF
Echooo的博客
10-29 1406
【强化学习论文解读 1】 NAF1. 引言2. 论文解读2.1 背景2.2 NAF算法原理2.3 Imagination Rollouts方法3. 总结 1. 引言 本文介绍一篇2016年发表在ICML的文章：Continuous Deep Q-Learning with Model-based Acceleration。 论文传送门：Continuous Deep Q-Learning with Model-based Acceleration 论文有两个亮点，一是提出了一种用于连续动作版本的 Q-lea
Lee Hung-yi强化学习 | (5) Q-learning用于连续动作 (NAF算法)
sdu_hao的博客
09-02 786
Lee Hung-yi强化学习专栏系列博客主要转载自优快云博主 qqqeeevvv，原专栏地址 课程视频 课件地址 普通的Q-learning比policy gradient比较容易实现，但是在处理连续动作（比如方向盘要转动多少度）的时候就会显得比较吃力。 因为如果action是离散的几个动作，那就可以把这几个动作都代到Q-function去算Q-value。但是如果action是连续的，此时action就是一个vector，vector里面又都有对应的value，那就没办法穷举所有的action去算Q-
Keras-RL深度强化学习库使用介绍与教程
深度Q学习（DQN）是深度强化学习中的一个重要算法，由Mnih等人在2015年提出，被认为是将深度学习成功应用到强化学习问题中的开创性工作之一。DQN通过深度神经网络来学习状态动作价值函数（Q函数），即预测给定状态和...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值