使用拉格朗日乘子法求解二次规划问题

什么是二次规划问题，如何使用拉格朗日乘子法，以及 KKT 条件是什么。

---

1. 什么是二次规划问题？

二次规划（Quadratic Programming, QP）是一种特殊的优化问题，其目标函数是变量的二次函数，而约束条件通常是线性的。具体形式可以写为：

$$\begin{array}{rl}& \text{最小化}f(x)=\frac{1}{2}{x}^{T}Qx+c^{T}x\\ & \text{受约束}Ax\le b,\\ & x\ge 0,\end{array}$$

• $x$ 是变量向量（$x\in {\mathbb{R}}^n$）。
• $Q$ 是一个对称矩阵（通常假设是正定或半正定矩阵，以保证问题有解或凸优化）。
• $c$ 是一个线性项的系数向量。
• $Ax\le b$ 表示线性不等式约束，$A$ 是约束矩阵，$b$ 是常数向量。
• $x\ge 0$ 是非负约束（某些问题可能没有这个约束）。

二次规划广泛应用于机器学习（如支持向量机 SVM）、金融组合优化等领域。

---

2. 如何用拉格朗日乘子法改写二次规划？

拉格朗日乘子法通常用于处理带约束的优化问题。对于二次规划，我们可以通过引入拉格朗日乘子，将约束问题转化为无约束问题。

标准形式

假设我们有以下二次规划问题：

$$\begin{array}{rl}& \text{最小化}f(x)=\frac{1}{2}{x}^{T}Qx+c^{T}x\\ & \text{受约束}Ax\le b,\\ & x\ge 0。\end{array}$$

构造拉格朗日函数

引入拉格朗日乘子 $\lambda \ge 0$（对应不等式约束 $Ax\le b$）和 $\mu \ge 0$（对应非负约束 $x\ge 0$），拉格朗日函数为：

$$\mathcal{L}(x,\lambda ,\mu )=\frac{1}{2}{x}^{T}Qx+c^{T}x+{\lambda }^T(Ax-b)-{\mu }^{T}x$$

• $\lambda \in {\mathbb{R}}^m$ 是与 $Ax\le b$ 对应的乘子向量（$m$ 是约束数量）。
• $\mu \in {\mathbb{R}}^n$ 是与 $x\ge 0$ 对应的乘子向量。
• ${\lambda }^T(Ax-b)$ 表示不等式约束的惩罚项。
• $-{\mu }^{T}x$ 表示非负约束的惩罚项。

求解

目标是找到 $x$、$\lambda$、$\mu$，使得 $\mathcal{L}(x,\lambda ,\mu )$ 在满足约束的情况下达到最优。这需要用到 KKT 条件（见下文）。

---

3. KKT 条件是什么？

KKT 条件（Karush-Kuhn-Tucker 条件）是处理带不等式约束的非线性优化问题的最优性条件。对于上述二次规划问题，KKT 条件包括以下几点：

(1) 驻点条件（Stationarity）

对拉格朗日函数 $\mathcal{L}(x,\lambda ,\mu )$ 关于 $x$ 求偏导并置零：

$${\nabla }_x\mathcal{L}=Qx+c+A^T\lambda -\mu =0$$

(2) 原问题约束（Primal Feasibility）

原始问题的约束必须满足：

$$Ax\le b,x\ge 0$$

(3) 双重可行性（Dual Feasibility）

拉格朗日乘子是非负的：

$$\lambda \ge 0,\mu \ge 0$$

(4) 互补松弛条件（Complementary Slackness）

对于不等式约束，乘子和约束的“松弛量”乘积为零：

$${\lambda }_i(A_{i}x-b_i)=0,i=1,\dots ,m$$

$${\mu }_j{x}_j=0,j=1,\dots ,n$$

• 如果约束 $A_{i}x<b_i$ 不活跃，则 ${\lambda }_i=0$。
• 如果 $x_j>0$，则 ${\mu }_j=0$。

KKT 条件的作用

如果 $Q$ 是正定矩阵，二次规划问题是凸优化问题，满足 KKT 条件的解就是全局最优解。通过解这个方程组，可以找到最优的 $x$、$\lambda$、$\mu$。

---

总结

1. 二次规划问题：目标是二次函数，约束是线性的优化问题。
2. 拉格朗日乘子法：通过引入乘子 $\lambda$ 和 $\mu$，构造拉格朗日函数，将约束问题转为无约束问题。
3. KKT 条件：包括驻点条件、原问题约束、双重可行性和互补松弛条件，用于求解最优解。