Model-Free Optimal Tracking Control via Critic-Only Q-Learning

已于 2024-03-20 21:21:52 修改
阅读量252 收藏
点赞数 2
CC 4.0 BY-SA版权
文章标签： 笔记 学习
于 2024-03-20 15:17:28 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/DarlingLSA/article/details/136877812

Model-Free Optimal Tracking Control via Critic-Only Q-Learning Biao Luo, Member, IEEE, 2016，Derong Liu, Fellow, IEEE, Tingwen Huang, and Ding Wang, Member, IEEE

对非仿射非线性离散时间系统，提出model-free最优跟踪控制问题。仅有评价网络的QLearning方法，根据真实系统数据学习最优跟踪控制，因此避免了求解HJB方程。Qlearning算法基于增广系统，仅使用一个神经网络近似Qfunction。考虑神经网络的近似误差证明了CoQL方法的收敛性。采用梯度下降法。CoQL是基于off-policy和仅有评价结构的方法。
为避免显式使用期望控制，利用期望参考轨迹的误差系统和指令生成器以获得增广系统，并且引入折扣因子，不需要内部动力学，采用在线策略迭代方法对线性或非线性连续系统实现最优跟踪轨迹控制 “H. Modares and F. L. Lewis, “Linear quadratic tracking control of partially-unknown continuous-time systems using reinforcement learning”，在具有输入限制的非线性离散系统“B. Kiumarsi and F. L. Lewis, “Actor–critic-based optimal tracking for partially unknown nonlinear discrete-time systems,”，在无完整系统模型，利用输入输出数据求解线性离散系统的最优跟踪控制问题”B. Kiumarsi, F. L. Lewis, M.-B. Naghibi-Sistani, and A. Karimpour, “Optima

最低0.47元/天 解锁文章

200万优质内容无限畅学
LucienLSA
关注
强化学习与网络安全资源-论文和环境
AI拉呱，专注于人工智与网络安全方面的研究，关注一起学习。
05-14 285
【代码】强化学习与网络安全资源-论文和环境。
【论文阅读笔记】NeurIPS2020文章列表Part2
zincrain的博客
12-09 6266
Online Multitask Learning with Long-Term Memory Fewer is More: A Deep Graph Metric Learning Perspective Using Fewer Proxies Adaptive Graph Convolutional Recurrent Network for Traffic Forecasting On Reward-Free Reinforcement Learning with Linear Function A.
【论文笔记】Event-Triggered Multigradient Recursive Reinforcement Learning Tracking Control
qq_45762949的博客
04-20 1567
Event-Triggered Multigradient Recursive Reinforcement Learning Tracking Control for Multiagent Systems 文章目录Event-Triggered Multigradient Recursive Reinforcement Learning Tracking Control for Multiagent Systems论文信息一、摘要二、创新点2.1基于MGR的强化学习策略2.2事件触发三、论文正文3.1引言3
评价模型：CRITIC客观赋权法
m0_64087341的博客
10-29 9974
CRITIC方法是一种客观权重赋权法，其基本思路是确定指标的客观权数以两个基本概念为基础。一是对比强度，它表示同一指标各个评价方案取值差距的大小，以标准差的形式来表现。二是评价指标之间的冲突性，指标之间的冲突性是以指标之间的相关性为基础，如两个指标之间具有较强的正相关，说明两个指标冲突性较低。CRITIC方法的主要原理是通过对比强度和指标之间的冲突性来确定指标的客观权数，从而实现对评价方案的客观权重赋值。该方法适用于判断数据稳定性，并且适合分析指标或因素之间有着一定的关联的数据。
Optimal Tracking Control of Nonlinear MultiagentSystems Using Internal Reinforce Q-Learning
qq_52607463的博客
03-01 257
小白对大佬文章的阅读，表示十分蒙蔽，只适合自己学习，如果能帮助到大家的话，可借鉴。
强化学习之PPO
qq_42498154的博客
01-11 3278
PPO 1. 概念 PPO：Policy Gradient不好确定Learning rate（step size）的问题，如果因为step size过大，学出来的Policy会一直乱动，不会收敛，但如果step size太小，对于完成训练，会很长时间，因此PPO利用了New Policy和Old Policy的比例，限制了New Policy的更新幅度，让Policy Gradient对稍微大的step size不那么敏感。 PPO是基于Actor Critic 的算法。 2.原理 从On-policy--
Reinforcement Learning: Model-free control
I AM BACK
12-20 504
On-policy Monte-Carlo Control On-Policy Temporal-Difference Learning Off-Policy Learning使用Monte-Carlo对off-policy进行更新 使用TD对off-policy进行更新 使用Q-learning进行off-policy的更新上一节讲到的是对未知MDP的value function进行估计，这一节是
新书推荐｜Reinforcement learning for sequential decision and optimal control
weixin_40263919的博客
04-21 791
新书推荐
综述—多智能体系统深度强化学习：挑战、解决方案和应用的回顾
wangyifan123456zz的博客
03-24 1万+
多智能体系统深度强化学习：挑战、解决方案和应用的回顾摘要介绍背景：强化学习前提贝尔曼方程RL方法深度强化学习：单智能体深度Q网络DQN变体深度强化学习：多智能体挑战与解决方案MADRL应用结论和研究方向参考 摘要 强化学习算法已经存在了几十年，并被用于解决各种顺序决策问题。然而，这些算法在处理高维环境时却面临着巨大的挑战。深度学习的最新发展使RL方法能够为复杂和有能力的智能体驱动最佳策略，这可以在这些具有挑战性的环境中有效地执行。本文讨论了深度RL的一个重要方面，它涉及到需要多个智能体进行通信和合作以解决复
强化学习经典算法笔记(十五)：Soft Actor-Critic算法实现
hhy_csdn的博客
07-09 7088
强化学习经典算法笔记(十五)：Soft Actor-Critic算法实现 算法简介 Soft Actor Critic，SAC算法是一种Off-policy算法，相比于PPO这种On-policy算法，sample efficiency有了提高，相比于DDPG及其变种D4PG，SAC又是一种随机策略算法。 SAC算法是在最大熵强化学习（Maximum Entropy Reinforcement Learning）的框架下构建起来的，目的是让策略随机化，好处是对于机器人控制问题非常友好，甚至可以在真实环境中使
【深度强化学习】Actor-Critic算法
qq_40268672的博客
12-16 2942
Actor-Critic算法 回顾策略梯度算法： Actor-Critic算法的区别就是对R(τn)R(\tau^n)R(τn)进行了修改。 当R(τn)R(\tau^n)R(τn)具有上述三种形式时，便是经典的AC算法，在AC算法，我们通过另一个叫做Critic的神经网络来估计Vπ(st)V^{\pi}(s_{t})Vπ(st​)（或其他，视具体情况而定)。 本博客实现的便是基于TD残差的AC算法，其策略网络的梯度如下图所示 相应的Actor和Critic损失函数为： 这里ei=rtn+Vπ(st
强化学习Actor-Critic算法究竟是怎么回事？
choushi5845的博客
09-02 3807
我们有了像Q-learning这么好的算法,为什么还要再折腾出一个Actor-Critic算法呢?原来 Actor-Critic 的 Actor 的前生是 Policy Gradients, 这能让它毫不费力地在连续动作中选取合适的动作,而Q-learning 做这件事会瘫痪。那为什么不直接用...
DDPG（2）-critic_network
qq_30626231的博客
06-18 2241
1、引用python库import tensorflow as tf import numpy as np import math 2、声明参数LAYER1_SIZE = 400 LAYER2_SIZE = 300 LEARNING_RATE = 1e-3 TAU = 0.001 L2 = 0.013、定义类class CriticNetwork: """docstring for Criti...
Actor-Critic：强化学习之摆车
m0_63642362的博客
12-18 759
深度强化学习入门；经典案例详细分析。 这个我的强化学习入门之作，参考官方样例，添加详细注释，易于理解。欢迎fork；欢迎评论；欢迎共同探讨，共同进步。
【强化学习】Actor-Critic算法详解
热门推荐
shura的技术空间
06-22 10万+
https://morvanzhou.github.io/tutorials/machine-learning/reinforcement-learning/6-1-actor-critic/ http://www0.cs.ucl.ac.uk/staff/d.silver/web/Teaching.html 【强化学习】Actor-Critic详解 之前在强化学习分类中，我们...
深度强化学习-Actor-Critic算法原理和实现
caoyongsheng的博客
07-03 7595
在之前的几篇文章中，我们介绍了基于价值Value的强化学习算法Deep Q Network。有关DQN算法以及各种改进算法的原理和实现，可以参考之前的文章：实战深度强化学习DQN-理论和实践：https://www.jianshu.com/p/10930c371cacDQN三大改进(一)-Double DQN：https://www.jianshu.com/p/fae51b5fe000DQN三大改...
reinforcement learning，增强学习：Model-Free Control
mmc2015的专栏
10-21 4716
上次内容： Model-Free Prediction。所谓model-free，是指没有给定MDP（即MDP未知，甚至不知道是不是MDP过程）。 希望在未给出MDP的情况下，进行prediction（对于给定的policy π，evaluate该policy π能够达到的Vπ(s)）。 Model-Free Prediction有两大方法：Monte-Carlo Learning和Temp
JavaWeb（苍穹外卖）--学习笔记14
最新发布
2301_81189772的博客
07-28 1015
本文总结了JavaWeb开发中Controller层和数据库Mapper层的关键知识点。在Controller层，重点介绍了常用注解：@ResponseBody用于直接返回数据，@RestController组合注解，以及@GetMapping等请求方法注解。同时讲解了三种参数接收方式：简单参数(@RequestParam)、JSON参数(@RequestBody)和路径参数(@PathVariable)。在数据库Mapper层，通过菜品分类、菜品和口味的表结构示例，说明了逻辑外键的使用。最后展示了常见的S
Unity_RPG开发学习笔记
weixin_66484088的博客
07-28 1323
摘要 本教程指导如何在Unity 2021.3中创建3D RPG项目，包含以下核心内容：1)创建项目并安装Universal RP渲染管线提升画面表现；2)从Asset Store导入地图、角色和天空盒素材；3)关键工具操作：光照设置、阴影调整、顶点吸附等快捷键使用；4)安装PolyBrush、ProBuilder等场景构建工具。教程配有详细图文步骤和视频链接，特别说明不同Unity版本在URP材质转换时的差异处理方法。
Highly Dynamic Quadruped Locomotion via Whole-Body Impulse Control and Model Predictive Control
01-21
### 实现高度动态四足运动的技术细节 在现代机器人研究中，为了使四足机器人能够执行复杂且快速的动作，通常采用全身脉冲控制和模型预测控制(MPC)[^1]相结合的方法。 #### 全身脉冲控制的作用机制 全身脉冲控制关注于如何有效地管理接触力分布来完成特定的任务目标。这种策略允许机器人根据当前状态调整其肢体间的相互作用力，从而更好地适应环境变化并保持稳定。对于高速奔跑或跳跃这样的高动态行为来说尤为重要，因为它可以确保即使在不平坦的地面上也能维持良好的性能表现[^2]。 ```python def whole_body_impulse_control(contacts, desired_forces): """ 计算基于期望接触力的关节扭矩. 参数: contacts (list): 当前所有活动触地点列表 desired_forces (dict): 各个触点对应的理想施加力量字典 返回值: joint_torques (dict): 关节名称到所需产生的扭距映射表 """ # 基础逻辑框架示意代码片段 pass ``` #### 模型预测控制的应用场景 另一方面，MPC则被用来规划未来一段时间内的最优轨迹，并提前考虑到可能遇到的各种约束条件。具体而言，在每一步迭代过程中都会重新评估最新的传感器数据，进而更新接下来几秒内最合适的动作序列。这种方法特别适合处理那些具有不确定性和外部扰动的情况，比如突然改变方向或是跨越障碍物等挑战性任务[^3]。 ```matlab function [u_optimal] = mpc_controller(x_current, u_last, t_horizon) % MPC_CONTROLLER 使用给定的时间范围t_horizon计算从当前位置x_current出发的最佳输入向量u_optimal， % 考虑到最后一次使用的命令u_last作为初始猜测. % ...省略实际求解过程... end ``` 当这两种技术结合起来应用于像MIT Cheetah系列这样的高性能仿生机械时，则能显著提升它们应对各种复杂地形的能力，同时还能保证较高的能量效率[^4]。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值