26、垂直起降系统控制与卡尔曼滤波噪声协方差调优技术解析

垂直起降系统控制与卡尔曼滤波噪声协方差调优技术解析

1. 深度Q网络控制器在垂直起降系统中的应用

深度强化学习（DRL）是深度学习与强化学习相结合的新兴技术。传统控制算法，如比例 - 积分 - 微分（PID）控制器，在应对复杂环境影响时表现不足，而DRL算法能解决传统算法难以处理的复杂任务。其核心目标是通过智能体和环境最大化奖励函数。

2015年，Google DeepMind团队开发了首个DRL算法——深度Q网络（DQN），研究表明DQN在复杂物理控制任务中可达到人类水平。众多研究将DQN应用于不同场景，如控制自平衡机器人模型、伺服系统速度控制以及无人机导航等，均取得了良好效果。

在本次研究中，采用基于DQN的控制器算法来控制垂直起降（VTOL）系统的俯仰角。该算法在MATLAB/Simulink环境中进行训练，通过模拟过程确定控制器参数，并针对正弦和恒定参考信号进行测试。最后，使用均方误差（MSE）、积分绝对误差（IAE）和积分平方误差（ISE）将DQN控制器的性能与传统PID控制器进行比较。

1.1 VTOL系统模型

VTOL系统可用于执行不同的控制算法或飞行力学任务，如垂直起飞。其由机身绳索、变速风扇电机和重物组成，可通过以下传递函数进行模拟：
[
\frac{Y(s)}{U(s)} = \frac{3.11}{s^2 + 0.576s + 10.7}
]
其中，$Y(s)$ 表示系统输出（俯仰角），$U(s)$ 表示系统输入电压。

1.2 DQN算法原理

DQN算法可视为Q学习算法的深度强化学习版本。在该算法中，深度神经网络用于近似表示Q表，将