梯度法求解优化问题

梯度法求解优化问题

通常优化问题非常复杂，难以求解出解析解，但在实际应用过程中， 解能满足一定精度，满足工程要求即可。
优化方程的形式和求解方法众多，本文将以梯度法求解静态无约束目标函数，如式（1）所示，并通过一些实例更好地理解这个方法。
$$\begin{array}{l}J=\varphi [x(t_f),t_f]+{\int }_{t_0}^{t_f}L[x(t),u(t),t]dt\\ \dot{x}(t)=f[x(t),u(t),t]\\ x(t_0)=x_0\end{array}\text{\hspace{1em}(1)}$$

式(1)的哈密顿函数为：
$$H=L[x(t),u(t),t]+\lambda (t)f[x(t),u(t),t]$$
正则方程为：
$$\begin{gathered} \dot{x}=\frac{\partial H}{\partial \lambda } \\ \dot{\lambda }=-\frac{\partial H}{\partial x} \end{gathered}$$
解的必要条件为：
$$\frac{\partial H}{\partial u}=0$$
横截条件为：
$$\lambda (t_f)=\frac{\partial \varphi [x(t_{f}0,t_f]}{\partial x(t_f)}$$

梯度下降法

梯度下降法的基本步骤如下：

1. 选定初始控制 $u^0(t)$, 凭经验给定，选取时应根据$u(t)$的物理意义选择合适的$u^0(t)$，允许误差$ϵ>0$；
2. 将$u^0(t)$待人状态方程中，以$x(t_0)$为初值，得到与$u^0(t)$对应的状态轨迹线$x_0(t)$;
3. 计算性能指标$J[u_0(t)]$；
4. 将$x^0(t)$待人正则方程中，得到对应的$lambd{a}^0(t)$;
5. 计算性能指标在$u^0$处的梯度 $▽J[u^0(t)]=g^0=\frac{\partial H}{\partial u}$；
6. 确定搜索步长，由一维搜索法确定。$J[u^0-\alpha g^0]=\underset{\alpha >0}{\min }J[u^0-\alpha g^0]$ ；
7. 修正控制向量: $$u^1(t)=u^0(t)-\alpha g^0$$
8. 以$u^1$代替$u^0$，重复步骤2、3、4、5、6、7，直到满足终止条件；

实例

已知系统状态方程为：$\dot{x}(t)=-x^2(t)+u(t)$，初始状态为：$x(0)=10$，性能指标：$J=0.5{\int }_0^1[x^2(t)+u^2(t)]dt$，用梯度法求使性能指标达到最小的$u^{\ast }(t)$。
解：

1. 选定初始控制$u^0=0$；
2. 将$u^0(t)=0$代入状态方程，且初始状态$x(0)=10$，求解微分方程得：$x^0(t)=\frac{10}{10t+1}$；
3. 将 $x^0(t)$代入正则方程中，且由横截条件可知得：${\lambda }^0(t)=0.5[1-\frac{(1+10t{)}^2}{121}]$；
4. 计算性能指标在$u^0$处的梯度：$g^0=\frac{\partial H[x^0(t),u^0(t),{\lambda }^0(t),t]}{\partial u}={\lambda }^0(t);$
5. 设步长为$\alpha$，计算$u^0(t)=u^0(t)-\alpha g^0$；
6. 检查是否满足求解要求，否则，返回步骤2；

注意事项

1. 梯度法无法区分局部极小和全局极小；
2. 无法直接处理不等式约束；
3. 在接近最优解时，迭代收敛非常慢；

声明

本文的内容参考陈建忠老师的视频课程，非常感谢陈老师讲解工程技术问题。