Linear Quadratic Tracking Control of Partially-Unknown Continuous-time Systems using RL

原创 已于 2024-04-20 19:41:50 修改 · 2.4k 阅读 · 34 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#学习 #笔记

于 2024-03-17 11:51:05 首次发布
本文探讨了在系统动力学部分未知的情况下，如何使用强化学习在线求解LQT的ARE方程，以实现线性二次跟踪控制。研究了增广ARE的因果解和标准解的局限性，并提出基于积分RL和神经网络的算法来求解最优控制策略。文中还涉及了稳定性分析和Matlab仿真实现。

Linear Quadratic Tracking Control of Partially-Unknown Continuous-time Systems using Reinforcement Learning，2014， Hamidreza Modares, Frank L. Lewis, Fellow, IEEE

原系统状态和指令生成器的值函数形式是二次型的。LQT贝尔曼方程和LQT的ARE方程，以求解LQT方程。采用积分RL算法在系统漂移动力学或者指令生成器未知的情况下在线求解LQT的ARE方程解，并给出收敛性分析。
传统LQT解最优控制由两部分：求解ARE得到反馈项，求解微分方程或利用系统动力学先验计算期望控制输入。反馈项稳定跟踪误差动力学，前馈项保证跟踪轨迹。传统离线方法，需要时间上向后计算和完整系统动力学。
在以往文章中采用动力学可逆概念以求得前馈控制输入，RL以求解最优反馈控制输入。但动力学可逆需要控制输入是可逆的，且具有完全的系统动力学知识。初始化可容许控制策略，仅利用测量数据和指令生成器在线学习最优控制策略。

假设(A,B)可稳定的，(A,QC\sqrt{Q}CQ

最低0.47元/天 解锁文章
LucienLSA
关注
基于车辆动力学模型的自动驾驶车辆横向控制
jrrz0828的博客
09-05 3369
分别为横向距离误差、横向距离误差变化率、航向角误差、航向角误差变化率，将式（2-3）写成式（2-4）的形式，此即为横向误差控制模型。（2）忽略悬架的作用，车身只做平行于地面的平面运动，即忽略沿z轴的垂向运动、绕y轴的俯仰运动以及绕x轴的侧倾运动；因此为消除稳态误差带来的影响，考虑在反馈控制的基础上加入前馈控制，引入前馈值。但是在第二节中推导得到的式（2-4）横向误差控制模型中，多了一部分。（5）驱动力不大，不考虑地面切向力对轮胎侧偏特性的影响，没有空气动力的作用；在式（1-4）的基础上， 令航向角误差。
ADP论文学习-最优跟踪控制问题
DarlingLSA的博客
03-01 1378
对初始值函数为0，其值迭代VI算法迭代控制策略使得系统不能保证稳定。Theorem3.1给出在PI算法下，迭代值函数是单调不增的。连续时间和离散时间的策略迭代算法不同，首先HJB方程不同，且连续时间下的分析方法基于微分。，迭代值函数是单调不增，收敛到HJB方程的最优值。当迭代次数趋于无穷时，PI算法收敛，有迭迭代控制策略近似最优控制策略，迭代值函数是单调不增收敛到最优。传统的DP方法会面临维数灾难问题，控制序列是无限的，几乎不可能由HJB方程获得最优控制。获得最优控制策略，必须先获得最优值函数。
Q-learning for optimal tracking control of linear discrete-time systems with unknown dynamics
DarlingLSA的博客
03-17 1503
对未知离散时间系统，提出新的基于Qlearning算法求解无限时域线性二次跟踪器LQT问题。线性指令生成器以产生参考轨迹，由指令生成器和原系统组成增广系统。值函数是增广系统（状态和参考轨迹）的二次型函数。给出求解LQT的贝尔曼方程和增广的代数Riccati方程。而本文只需要求解增广的ARE方程。Qlearning算法以在线求解增广ARE（未知系统动力学或指令生成器、不需要增广系统动力学），传统的LQT求解有前馈输入（求解非因果差分方程）和反馈输入（求解ARE）。
迭代求解最优化问题——Levenberg-Marquardt算法
Faded
10-20 7473
高斯牛顿法使用的条件上一篇中提到了线性最小二乘问题minx||Ax−b||\min \limits_x ||Ax-b||的的标准方程为ATAx−ATb=0A^TAx-A^Tb=0。其中x为n维向量，b为m维向量，A为m×nm\times n的矩阵。从标准方程我们可以求出x的解析解，然而这其实隐含了一个条件，就是rank(A)=n。当A秩亏的时候，rank(ATA)≤rank(A)<nrank(A^T
【Jenny Hong】【2016.11】线性二次控制Linear-Quadratic Control
weixin_42825609的博客
06-02 477
主要内容包括：1. 线性动态系统2. 仿真3. 车辆问题举例4. 最小能量状态转移5. 状态转移示例6. 跟踪输出示例7. 路点8. 交会点9. 线性二次调节器10. 状...
【2011-2016】 NIPS汇总 - Advances in Neural Information Processing Systems
Testing的博客
10-02 1万+
Advances in Neural Information Processing Systems 24 (NIPS 2011) The papers below appear in Advances in Neural Information Processing Systems 24 edited by J. Shawe-Taylor and R.S. Zemel and P.L.
AAAI-19录用论文清单
TomRen
01-28 1万+
AAAI-19于1月27日在夏威夷召开，今年是33届会议。 会议录用论文清单, workshop16个，tutorials24个。 标题的词云分析： 作者单位词云(按作者人数计算/一篇文章可能有多个作者)： picture from lonelyplanet.com 下面给出接收论文的列表： 第一个数字表示投稿的序号&amp;amp;内容可能有缺失 9: CircConv: A S...
Robust Differential Game Guidance Laws Design for Uncertain Interceptor-Target Engagement via ADP
阿涛的博客
02-23 2200
原文：https://download.youkuaiyun.com/download/qq_29675093/10969822 南京航空航天大学孙景亮的论文，二人零和博弈框架下研究导弹拦截机动目标，使用的方法是自适应动态规划，从理念上跟利用critic网络进行强化学习很接近的，但是由于模型已知，使用残差可以直接根据模型调整critic网络的权值，而控制量也是critic网络权值的函数。 本文中的crit...
Robust Adaptive Quadratic Tracking Control of Continuous-Time Linear Systems with Unknown Dynamics
02-10
研究的主题聚焦于线性二次跟踪（Linear Quadratic Tracking, LQT）问题的解决策略。LQT问题在控制理论中有着广泛的应用，其目标是设计一个控制器，使得系统的输出跟踪上给定的参考轨迹，同时最小化控制成本和输出...
Model-Free Q-Learning for the Tracking Problem of Linear Discrete-Time Systems
DarlingLSA的博客
03-28 558
Model-Free Q-Learning for the Tracking Problem of Linear Discrete-Time Systems，2024， Chun Li , Jinliang Ding , Senior Member, IEEE, Frank L. Lewis , Life Fellow, IEEE, and Tianyou Chai , Life Fellow, IEEE
构建个人学习与工作LLM应用系统的核心运行机制：一种人机协同系统“认知引擎”的架构原理
weixin_41939376的博客
12-28 867
摘要：本文提出构建"人机协同认知引擎"的方法论，旨在将临时性对话升级为可持续复利的认知生产力系统。核心架构包含六层功能：情境层（明确任务背景）、世界模型层（构建个人知识体系）、证据与记忆层（确保可追溯性）、推理与规划层（生成可执行计划）、行动与外部化层（输出实际成果）以及评估与学习层（持续优化）。
学习C#调用OpenXml操作word文档的基本用法（14：学习文档编号定义类）
gc_2299的博客
12-28 639
学习文档编号定义类NumberingDefinitionsPart的主要属性
Android C++ 学习笔记 2
zhuguanlin121的博客
12-28 870
template.cpp template2.cpp exception.cpp exception2.cpp exception3.cpp exception4.cpp exception5.cpp exception6.cpp exception7.cpp exception8.cpp 19th_smartpointer person.cpp person2.cpp person3.cpp person4.cpp person5.cpp person6.cpp person7.cpp person8.c
0基础开发学习python工具_____一键打包！用 PyInstaller 将 Python 烟花程序转为 .exe（无需 Python 环境）
最新发布
mg668的博客
01-01 316
本文介绍如何使用PyInstaller将Python程序打包成可执行文件。首先通过pip安装PyInstaller，然后使用pyinstaller --onefile --windowed命令将Python脚本打包成独立.exe文件，无需安装Python环境即可运行。文章详细说明了打包步骤、常见问题解决方法（如闪退、文件过大等），并提供了添加自定义图标的技巧，帮助初学者轻松分享Python程序。
优化分布式系统性能：热key识别与实战解决方案
热门推荐
曾经“等你生日那天”都遥远得像未来，如今却可欢愉的挥手说“下个十年见”
12-28 10万+
热key问题在分布式缓存系统中是一个常见但具有挑战性的难题。有效地发现和处理热key不仅可以提升系统的性能和稳定性，还能显著改善用户体验。本文从热key的定义及其危害出发，深入探讨了热key产生的多种原因，并介绍了几种主流的热key发现解决方案。 通过人为预测，客户端监控，机器层面监控，Redis服务端Monitor以及热点发现系统等多种手段，可以及时识别并处理潜在的热点key。每种解决方案都有其独特的优势和局限性，应根据具体业务场景选择合适的策略进行实施。
【vLLM 学习】Reproduciblity
HyperAI超神经
12-30 205
源码 examples/offline_inference/reproduciblity.py。推理加速而设计的框架，实现了 KV 缓存内存几乎零浪费，解决了内存管理瓶颈问题。更多 vLLM 中文文档及教程可访问 →vllm.hyper.ai/
【安卓学习之myt】git常用命令
任我飞的博客
12-30 895
环境变量 GIT_COMMITTER_DATE 和 GIT_AUTHOR_DATE:改变历史中的时间戳;请注意，修改提交日期可能会对版本历史造成混乱，因此请谨慎使用此命令，并确保只修改个人使用仓库的提交。–no-edit 参数来避免在修改提交时打开编辑器让你更改提交信息。保持原有的提交信息;PS:git commit --amend 命令用于修改最近一次的提交;另外，如果你想要修改的是最近的一次提交日期，也可以使用。PS:–date 参数来指定新的提交日期;-m 选项后面跟的是新的提交信息;
Proposed modified LQ: LQ-G (Generalized linear-quadratic with dose-dependent curvature)
10-16
首先，用户意图是了解 "Proposed modified LQ: LQ - G (Generalized linear - quadratic with dose - dependent curvature)" 的相关信息。用户问题具体是 "Proposed modified LQ: LQ - G (Generalized linear - ...
评论 1
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值