数值优化（Numerical Optimization）学习系列-序列二次规划和内点法（SQP、Interior-Point）

概述

对于非线性约束最优化问题，序列二次规划和内点法是两类非常重要的算法，也是大规模问题的利器。序列二次规划方法将原始问题分解为一系列二次规划问题逐步求解；内点法将将约束添加到目标函数中转换为一系列无约束问题逐步求解。两类算法共同思想将原始问题转换为可求解问题。
1. 序列二次规划概述
2. 内点法概述
3.总结

序列二次规划(SQP)概述

序列二次规划(Sequential Quadratic Programming)对于非线性约束最优化问题是一个非常有效的算法，将原始问题划分为一系列二次规划的子问题进行求解。

本节中介绍的SQP都属于激活集算法，有两种类型的激活-SQP算法，一是IQP，将原始问题转换为一系列不等式约束二次规划；二是EQP，将原始问题转换为一系列等式约束二次规划问题。

大部分的SQP问题分为两个步骤进行求解，第一步通过局部方法寻找有效集；二是通过LineSearch或者TR进行最优化。

局部SQP方法

等式约束问题

问题描述如下

$$min f(x) \\ s.t \; c(x) = 0$$ 其主要思想是根据当前点$x_k$寻找下一个优化点$x_{k+1}$通过转换问题二次规划问题。

思路1，KKT条件

原始问题的拉格朗日方程为$\mathcal L(x,\lambda)=f(x)-\lambda^Tc(x)$，根据KKT条件有

$$F(x,\lambda)=\left[ \begin{array}{cc} \nabla f(x)-A(x)^T \lambda \\ c(x) \end{array} \right] =0$$ 其中$A(x)=[\nabla c_1(x),\nabla c_2(x)...\nabla c_m(x)]$
对于等式方程问题可以采用牛顿方程进行求解，迭代步骤如下
$$\left[ \begin{array}{cc} x_{k+1} \\ \lambda_{k+1} \end{array} \right]=\left[ \begin{array}{cc} x_{k} \\ \lambda_{k} \end{array} \right] + \left[ \begin{array}{cc} p_k \\ p_\lambda \end{array} \right]$$ 其中$p_k，p_\lambda$通过牛顿KKT条件得到 $$\left[ \begin{array}{cc} \nabla^2 L_x & -A_k^T \\ A_k & 0 \end{array} \right] \left[ \begin{array}{cc} p_{k} \\ p_\lambda \end{array} \right] = \left[ \begin{array}{cc} -\nabla f_k+A_k^T\lambda_k \\ -c_k \end{array} \right]$$ 注：推导过程简单，可以参考之前的章节。

思路2，根据当前点进行建模

对于当前点$x_k$进行二次泰勒展开，转换为

$$\min_p f_k+\nabla f_k^Tp + \frac 12 p^T\nabla L^2 p \\ s.t. \; A_kp+c_k=0$$ 展开方式为目标函数进行二次泰勒展开，约束进行一次泰勒展开。根据KKT也有 $$\nabla ^2L_kp_k+\nabla f_k-A_k^Tl_k=0 \\ A_kp_k+c_k=0$$ 通过转换可以转换为上述求解步骤。

求解框架

不等式约束问题

对于不等式约束，同理可以进行泰勒展开。

$$\min_p f_k+\nabla f_k^Tp + \frac 12 p^T\nabla L^2 p \\ s.t. \; \nabla c_i(x_k)^Tp+c_i(x_k)=0 \; \; i \in \mathcal E \\ \nabla c_i(x_k)^Tp+c_i(x_k)\ge0 \; \; i \in \mathcal I$$

IPQ 和 EPQ

1. IPQ：顾名思义将原始转换为一系列带有不等式约束的二次规划问题，该方法在实际中效果非常好，问题是对于一般的二次规划问题求解复杂度较高，虽然可以将该次的最优解作为下一次子问题的初始解，仍然存在热启动问题。
2. EPQ：每次只考虑激活集，即等式约束。相对于IPQ每个子问题相对比较容易求解。

其他

最优化步骤中可以通过线搜索或者信赖域方法进行求解。

内点法

内点法和SQP方法类似对于求解大规模非线性约束非常有效。另外内点法(Interior-Point)和障碍方法（barrier methods）具有相同含义。

两类转换思路

内点法可以求解的问题，可以转换为

$$\min_{x,s} f(x) \\ s.t. c_E(x)=0, \\ c_I(x)-s=0, \\ s\ge0$$

连续方法（continuation methods）

根据KKT条件，上述问题可以转换

$$\nabla f(x)-A_E^T(x)y-A_I(x)^Tz=0 \\ Sz-\mu e=0 \\ c_E(x)=0\\c_i(x)-s=0$$ 类似于之前做法，可以通过不断改变参数$\mu$来搜寻一条中心路径逐渐优化原始问题。

障碍方法（barrier methods）

问题可以转换为

$$\min_{x,s}f(x)-\mu \sum_{i=1...m}logs_i \\ s.t c_E(x)=0 \\ c_I(x)-s=0$$ 其中参数$\mu$是正数，控制搜索过程。通过KKT条件求解该问题，会发现和上述转换类似。
最原始的转换方式，直接转换为 $$min f(x)-\mu \sum_{i\in \mathcal I}logc_i(x)$$ 该转换可能带来的问题是可能找不到最优解。

其他

1. 内点法可以从对偶问题中获取关键思路
2. 可以结合线搜索和信赖域方法进行求解

总结

通过本节学习可以了解序列二次规划和内点法求解非线性约束最优化问题的关键思路。