数值法求解最优控制问题（一）——梯度法

同步发布在这里：https://leilie.top/2022-06-25/Study-Gradient-Method-for-OCP

最优控制问题可以使用变分法来进行求解，当问题是有约束的最优控制问题时，可以采用极小值原理求解该最优控制问题。上述方法称为解析法。但是，一旦问题约束条件或目标函数复杂，使用解析法求解最优控制问题面临着极大困难，也有可能出现解析解难以求解的问题。

为此，研究者将目光转向了数值解法。

数值解法的本质就是代替了人用脑和手计算最优控制问题的过程，采用数值优化技术完成控制结果的求解。

下面介绍一种实现简单的数值解法，即梯度法（gradient method，GM）。

梯度法

梯度法的另一个名字是最速下降法（steepest descent method，SDM），基本思想是先根据Pontryagin极大值原理（后文简称极大值原理）推导一阶最优必要性条件，求取最优控制 $u^{\ast }$ 使得哈密顿函数 $H$ 最小。

算法流程是首先根据经验猜测一个初始控制量 $u^0$，再通过数值算法求出 $H^0$ 。随后根据求出的 $H^0$ 来修改 $u$ ，使得 $H$ 继续减小，直到趋近最小值停止。修改 $u$ 的目的就是为了让 $H$ 逐渐减少，修改方向为 $H$ 的“最陡下降”方向，即负梯度方向。这就是被称为梯度法的原因。

讨论一类控制不受约束的最优控制问题。

给定系统状态方程为

$$\dot{\mathbf{x}}=f(\mathbf{x},\mathbf{u},t),\text{\hspace{1em}(1)}$$

初始条件为

$$\mathbf{x}(t_0)={\mathbf{x}}_0,\text{\hspace{1em}(2)}$$

性能指标为

$$J(\mathbf{u})=\Phi ({\mathbf{x}}_T,T)+{\int }_T^{t_0}L(\mathbf{x},\mathbf{u},t),\text{\hspace{1em}(3)}$$

其中，$\Phi ({\mathbf{x}}_T,T)$ 被称为Mayer型性能指标（或称常值型性能指标），${\int }_T^{t_0}L(\mathbf{x},\mathbf{u},t)$ 被称为Lagrange型性能指标，（或称积分型性能指标）。既有Mayer型，又有Lagrange型的性能指标 $(3)$ 被称为Bolza型性能指标（或称复合型性能指标）。

在这里，最优控制的目标就是寻找一个 $u^{\ast }$ 使得 $J$ 最小。

构造哈密顿函数为

$$H(t,\mathbf{x},\mathbf{u},\mathbf{\lambda })=L(t,\mathbf{x},\mathbf{u})+{\mathbf{\lambda }}^{\mathrm{T}}(t)f(\mathbf{x},\mathbf{u},t),\text{\hspace{1em}(4)}$$

省去推导步骤¹，得到泛函 $J^k(\mathbf{u})$ 在 ${\mathbf{u}}^k(t)$ 处的梯度，即

$$\nabla J({\mathbf{u}}^{\mathbf{k}})=\frac{\partial H}{\partial {\mathbf{u}}^{\mathbf{k}}}.\text{\hspace{1em}(5)}$$

根据极大值原理，在 $J(\mathbf{u})$ 的极小点处满足下式，为

$$\dot{\mathbf{\lambda }}=-\frac{\partial H}{\partial \mathbf{x}},\mathbf{\lambda }(T)=\frac{\partial K}{\partial {\mathbf{x}}_T},\text{\hspace{1em}(6)}$$

$$\frac{\partial H}{\partial \mathbf{u}}=0.\text{\hspace{1em}(7)}$$

至此，求解最优控制问题变为联立求解方程 $(1)$ 、$(2)$、$(5)$、$(6</$