数值优化（Numerical Optimization）学习系列-二次规划（Quadratic Programming）

概述

二次规划问题是目标函数是二次的，并且约束是线性的问题。在非线性约束最优化问题中非常重要，通常作为其他问题的子步骤存在。
1.二次规划问题
2.二次规划求解算法
3. 总结

二次规划问题

标准形式

二次规划问题的标识形式如下

$$min q(x)=\frac 12x^TGx+x^Tc\\s.t. a_i^Tx=b_i,\ i \in \mathcal E\\ \; \; \; \ a_i^Tx \ge b_i, \ i \in \mathcal I$$ 如果矩阵G为半正定，则该问题为凸二次规划，否则为非凸二次规划。本节讨论重点凸二次规划问题。

二次规划求解算法

等式约束二次规划

在标准形式下，去掉不等式约束，可以得到等式约束二次规划问题的标准形式。

$$min q(x)=\frac 12x^TGx+x^Tc\\s.t. Ax=b$$ 其中矩阵A一般为行满秩矩阵。

KKT条件

根据KKT条件可以得到，最优解应该满足的一阶条件为

$$\begin{bmatrix} G & -A^T \\ A & 0 \end{bmatrix} \begin{bmatrix} x^* \\ \lambda^* \end{bmatrix}= \begin{bmatrix} -c \\ b \end{bmatrix}$$
当某搜索步骤x时，根据 $x^*=x+p$代入上式公式，可以得到搜索步长。 $$\begin{bmatrix} G & A^T \\ A & 0 \end{bmatrix} \begin{bmatrix} -p \\ \lambda^* \end{bmatrix}= \begin{bmatrix} g \\ h \end{bmatrix}$$ 其中