50、平流层飞艇的强化学习自适应跟踪控制

平流层飞艇的强化学习自适应跟踪控制

1. 引言

近年来，随着平流层资源的开发，对飞艇的需求急剧增加。平流层飞艇具有负载能力大、飞行时间长和飞行高度适宜等优点，可应用于通信中继、空间观测、军事用途等领域。为了完成这些任务，精确跟踪参考轨迹至关重要。然而，由于平流层飞艇的非线性和脆弱性，跟踪控制成为飞艇飞行控制中的一个挑战。

以往有多种方法用于轨迹跟踪控制，如轨迹线性化控制理论、双时间尺度滤波技术和反步法等，但这些方法大多未充分考虑平流层飞艇的最优控制问题。最优控制能在实现跟踪控制的同时优化控制系统的性能。通常，求解非线性系统的最优控制解需要解决Hamilton - Jacobi - Bellman（HJB）方程，但直接求解该方程几乎是不可能的。在众多解决方法中，强化学习（RL）结合演员 - 评判家神经网络的方法成为解决HJB问题以获得最优控制的技术趋势。

本文提出了一种由主评判信号和次评判信号组成的评判函数，通过RL方法近似和补偿系统的非线性和未知干扰，以获得最优控制系统性能。结合六自由度运动学和动力学方程，设计并模拟了基于演员 - 评判家神经网络的控制器。

2. 问题描述

2.1 建模

本文研究的充氦飞艇由执行器和辅助设备组成，气球前端装有推进螺旋桨以提供推力和转向力矩。

。为。

为了对平流层飞艇建模，首先需要定义参考坐标系：
- 地球参考系（ERF）：固定在地面原点 $O_g$ 上，$z$ 轴向下，$x$ 轴指向北方，$y$ 轴指向东方。
- 机体参考系（BRF）：固定在充氦飞艇体积中心的原点 $O$ 上，$z$ 轴向下，$x$ 轴指向艇首，$y$ 轴