(二)拉格朗日乘子法——KKT条件

假设目标函数是求解$f(x,y)=x^2+y^2$的最小问题。
(1)假设约束条件是$h(x,y)=x+y \leqslant 1$，即

$$\left\{\begin{matrix} minf(x,y)=x^2+y^2\\ \\ s.t \quad h(x,y)=x+y \leqslant 1 \end{matrix}\right.$$
这个不等式约束实际上包含了原点，而原点是最小的值，所以这个约束条件等价于没有约束条件的求解，其求解过程是一样的

(2)假设约束条件是 $h(x,y)=x+y \leqslant -2$，即
$$\left\{\begin{matrix} minf(x,y)=x^2+y^2\\ \\ s.t \quad h(x,y)=x+y \leqslant -2 \end{matrix}\right.$$
这个情况下，与约束条件是 $g(x,y)=x+y=-2$进行约束的求解过程是一样的

即求解
$$\left\{\begin{matrix} \bigtriangledown f + \mu \bigtriangledown h=0\\ \\ s.t \quad h(x,y)=x+y+2=0 \end{matrix}\right.$$
(3)新增的条件
不等式实际上带来了新的条件,因为梯度指向了函数增长的方向如图，所以目标函数的梯度如下图所示，而约束函数的梯度则是相反的方向(可以理解为对 $h(x,y)$而言，对 $x,y$的偏导都需要使得 $x,y$变大，所以梯度为 $\bigtriangledown f$的相反方向)(因为梯度下降法 $w=w-\alpha \bigtriangledown w$使得 $w$值变小)

所以，有

$$\bigtriangledown f + \mu \bigtriangledown h=0,\mu \geqslant 0\\ \\ $$
其中， $\mu \geqslant 0$表示 $\bigtriangledown f,\bigtriangledown h$方向相反.
完整的方程组如下:
$$\left\{\begin{matrix} \bigtriangledown f + \mu \bigtriangledown h=0\\ \\ h(x,y)=x+y+2=0\\ \\ \mu \geqslant 0 \\ \end{matrix}\right.$$
综合以上，可以把求极值问题：
$$\left\{\begin{matrix} min f\\ \\s.t \qquad g_i=0,i=1,2,...,n\\ \\h_i\leqslant 0,i=1,2,...,m \end{matrix}\right.$$
通过解下面这个方程组来得到：
$$\left\{\begin{matrix} \bigtriangledown f + \sum_{i}^{n} \lambda_i \bigtriangledown g_i+\sum_{j}^{m} \mu_j \bigtriangledown h_j=0\\ \\ g_i=0,i=1,2,...,n\\ \\h_i\leqslant 0,j=1,2,...,m\\ \\ \mu_j \geqslant 0\\ \\ \mu_j h_j=0 \end{matrix}\right.$$
这个方程组也就是所谓的 KKT条件

参考非线性优化中的 KKT 条件该如何理解？