【李宏毅深度强化学习笔记】5、Q-learning用于连续动作 (NAF算法)

最新推荐文章于 2024-01-24 01:47:04 发布

qqqeeevvv

最新推荐文章于 2024-01-24 01:47:04 发布

阅读量5.8k

点赞数 5

CC 4.0 BY-SA版权

分类专栏：强化学习 # 理论知识文章标签： Q-learning 深度强化学习连续动作 NAF

本文链接：https://blog.youkuaiyun.com/ACL_lihan/article/details/104076938

【李宏毅深度强化学习笔记】1、策略梯度方法（Policy Gradient）

【李宏毅深度强化学习笔记】2、Proximal Policy Optimization (PPO) 算法

【李宏毅深度强化学习笔记】3、Q-learning（Basic Idea）

【李宏毅深度强化学习笔记】4、Q-learning更高阶的算法

【李宏毅深度强化学习笔记】5、Q-learning用于连续动作 (NAF算法)（本文）

【李宏毅深度强化学习笔记】6、Actor-Critic、A2C、A3C、Pathwise Derivative Policy Gradient

【李宏毅深度强化学习笔记】7、Sparse Reward

【李宏毅深度强化学习笔记】8、Imitation Learning

-------------------------------------------------------------------------------------------------------

【李宏毅深度强化学习】视频地址：https://www.bilibili.com/video/av63546968?p=5

课件地址：http://speech.ee.ntu.edu.tw/~tlkagk/courses_MLDS18.html

-------------------------------------------------------------------------------------------------------

普通的Q-learning比policy gradient比较容易实现，但是在处理连续动作（比如方向盘要转动多少度）的时候就会显得比较吃力。

因为如果action是离散的几个动作，那就可以把这几个动作都代到Q-function去算Q-val

最低0.47元/天解锁文章

200万优质内容无限畅学

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

qqqeeevvv

关注关注

5
点赞
踩
24

收藏

觉得还不错? 一键收藏
10
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

（13-2）连续动作空间的强化学习：DDPG算法

码农三叔

03-28

2711

请看下面的例子，功能是使用深度强化学习方法（DDPG，Deep Deterministic Policy Gradient）来解决连续动作空间问题的示例代码。这个例子演示了一个自定义环境（CustomEnv）中的DDPG算法，该算法包括Actor-Critic网络架构和经验回放缓冲区，用于训练智能体在连续状态空间中执行动作以最大化累积奖励。

强化学习——Sarsa

深海沧澜的博客

11-19

435

1.Sarsa: 核心：拿下一步的Q值来更新这一步的Q值 sample（）输入的为状态，输出的为动作。再进行learn（）需要注意要先通过next_obs拿到next_action 2. 3.Sarsa与环境交互 3.1Sarsa Agent 根据Q表格选动作 3.2.更新Q表格 ...

10 条评论您还未登录，请先登录后发表或查看评论

深度强化学习——连续动作控制DDPG、NAF

热门推荐

草帽BOY的博客

06-14

5万+

传统的DQN只适用于离散动作控制，而DDPG和NAF是深度强化学习在连续动作控制上的拓展。

Qlearn 连续问题

duyue3052的博客

09-15

380

critic不仅评判各个动作的得分，还知道actor该怎么做不好train的网络怎么办 AC与GAN类似，一样难训练

强化学习之连续动作

weixin_41962319的博客

06-25

7353

连续动作输入的是state，输出的是action，下次输入相同的state时，则网络会输出相同的action，是确定性策略。离散动作输入的是state，输出的是每个action的概率，经过sample之后，才输出agent所要采取的action 连续动作输入的state经过网络输出后，经过tanh激活函数将输出缩放到[-1,1]，在经过实际范围进行缩放，在输出给环境。比如：小车方向的范围是[-2,2]，将tanh输出的x2，再输出给环境。 DDPG：每个state都更新一次网络，是单步更新网络。一边更新Q

【ML】Q-Learning应用于具有连续状态的问题（Q-Learning 学习滑冰）

sikh_0529的博客

09-21

1万+

如果我们使用 bins 离散化，我们的状态向量的大小也是已知的，所以我们可以使用相同的方法并用一个形状为 20x20x10x10x2 的数组表示状态（这里 2 是动作空间的维度，第一维度对应于我们为观察空间中的每个参数选择使用的箱）。例如，在我们的案例中，4 个值中有 2 个没有其值的上限/下限，这可能会导致无限数量的状态。在离散化中，我们不关心输出值的范围，允许它们为负值，因此状态值不会移位，0 对应于 0。函数的情况下，我们可能永远无法确定我们的状态保持在一定的范围内，因为一些原始值是不受约束的。

深度强化学习5：Q-learning用于连续动作 (NAF算法)

qq_38888209的博客

08-14

771

【李宏毅深度强化学习笔记】5、Q-learning用于连续动作 (NAF算法) ...

【李宏毅深度强化学习笔记】4、Q-learning更高阶的算法

ACL_lihan的博客

01-21

6120

【李宏毅深度强化学习笔记】1、策略梯度方法（Policy Gradient）【李宏毅深度强化学习笔记】2、Proximal Policy Optimization (PPO) 算法【李宏毅深度强化学习笔记】3、Q-learning（Basic Idea）【李宏毅深度强化学习笔记】4、Q-learning更高阶的算法（本文）【李宏毅深度强化学习笔记】5、Q-learning用于连续动...

【李宏毅深度强化学习笔记】3、Q-learning（Basic Idea）

ACL_lihan的博客

01-20

1万+

【李宏毅深度强化学习笔记】1、策略梯度方法（Policy Gradient）【李宏毅深度强化学习笔记】2、Proximal Policy Optimization (PPO) 算法【李宏毅深度强化学习笔记】3、Q-learning（Basic Idea）（本文）【李宏毅深度强化学习笔记】4、Q-learning更高阶的算法【李宏毅深度强化学习笔记】5、Q-learning用于连续动...

深度强化学习4：Q-learning更高阶的算法

qq_38888209的博客

08-14

634

【李宏毅深度强化学习笔记】4、Q-learning更高阶的算法 ...

02 强化学习——策略梯度法(PG)（连续动作）

风雨潇潇一书生

12-04

6150

一、PG回顾 1、对于离散动作，策略搜索使用神经网络来参数化随机策略中的动作概率，网络的输入是智能体的当前状态，网络输出为当前所有动作的概率，该网络是一种分类网络。网络训练使用数据为一个episode数据（s,a,r）. 参考https://blog.youkuaiyun.com/weixin_40493501/article/details/110384894 2、对于连续性动作来说，一般使用随机高斯策略，网络的输入是智能体当前状态，网络的输出的高斯策略的均值和标准差，网络是一个拟合网络。无论是连续动作还是离

连续动作的强化学习算法——SAC

爱学习的小王的博客

05-10

6055

Soft Actor-Critic 目前来说，关于连续动作的强化学习算法，经常使用到的就是PPO、DDPG和SAC以及在此基础上的改进算法，这里主要说一下SAC算法。介绍首先SAC算法是基于Off-Policy的，因此会用到Replay Buffer，使用过去的样本经验进行学习，这会使得算法的稳定性和收敛性有一定的困难，特别是在连续的状态和动作空间下。然后是基于Actor-Critic的，同时基于值和策略进行评估，可以实现单步更新。SAC则是在此基础上，要求最大化期望的同时最大化策略分布的熵，以

强化学习中的连续动作空间与深度强化学习

最新发布

AI天才研究院

01-24

1066

1.背景介绍 1. 背景介绍强化学习(Reinforcement Learning, RL)是一种机器学习方法，通过与环境的互动来学习如何做出最佳决策。在强化学习中，智能体通过收集奖励信息来学习如何在环境中取得最大化的累积奖励。强化学习的一个关键挑战是如何在高维连续动作空间中进行优化。 深度强化学习(Deep Reinforcement Learning, DRL)是一种结合了深度学习和强...

强化学习入门（六）：Q-learning系列算法3：连续动作（NAF）

weixin_45459911的博客

04-18

2403

本文是在https://blog.youkuaiyun.com/acl_lihan/article/details/104076938的基础上进行了部分改动，加上了一点个人理解，原博客写的非常好，不妨一同查阅。普通的Q-learning比policy gradient比较容易实现，但是在处理连续动作（比如方向盘要转动多少度）的时候就会显得比较吃力。因为如果action是离散的几个动作，那就可以把这几个动作...

强化学习入门（五）连续动作空间内，使用DDPG求解强化学习问题

AItrust的博客

06-21

7793

本文内容源自百度强化学习 7 日入门课程学习整理感谢百度 PARL 团队李科浇老师的课程讲解文章目录一、离散动作 VS 连续动作1.1 区别1.2 神经网络修改1.3 激活函数选择二、DDPG（Deep Deterministic Policy Gradient）2.1 从 DQN 到 DDPG2.2 Actor-Critic 结构2.3 DDPG 的优化目标和最佳策略2.4 借鉴 DQN 中的目标网络 target network 和经验回放 ReplayMemory三、 PARL 库中 DDPG.

【学习强化学习】八、连续动作下的DQN设计

weixin_42301220的博客

03-05

1402

文章目录参考资料思路1思路2思路34. 练习1. Q-learning相比于policy gradient based方法为什么训练起来效果更好，更平稳？参考资料 https://datawhalechina.github.io/easy-rl/#/chapter8/chapter8 思路1 a=arg⁡max⁡aQ(s,a)a=\arg \max _{a} Q(s, a) a=argamaxQ(s,a) 假设a是离散的，即a的可能性都是有限的。我们可以把每一个可能的动作都带到 Q 里面算它的 Q

Q-learning如何处理连续的动作？

ygp12345的博客

10-18

1764

文章目录1、穷举action2、使用梯度上升求Q value3、Normalized Advantage Functions（NAF）普通的Q-learning比policy gradient比较容易实现，但是在处理连续动作（比如方向盘要转动多少度）的时候就会显得比较吃力。因为如果action是离散的几个动作，那就可以把这几个动作都代到Q-function去算Q-value。但是如果action是连续的，此时action就是一个vector，vector里面又都有对应的value，那就没办法穷举所有的

李宏毅深度强化学习笔记（五）Q-learning（Continuous Action）

我的博客

07-15

705

参考jessie_weiqing博客：https://blog.youkuaiyun.com/cindy_1102/article/details/87907470 李宏毅深度强化学习课程 https://www.bilibili.com/video/av24724071 李宏毅深度强化学习笔记（五）Q-learning（Continuous Action）连续行动下的 Q-Learning 连续行动:...

李宏毅深度强化学习笔记（四）Q-learning（Advanced Tips）

我的博客

07-15

936

参考jessie_weiqing博客：https://blog.youkuaiyun.com/cindy_1102/article/details/87907470 李宏毅深度强化学习课程 https://www.bilibili.com/video/av24724071 李宏毅深度强化学习笔记（四）Q-learning（Advanced Tips） Double DQN 由于Q值总是基于使得Q最大的acti...