拉格朗日乘子法和kkt条件

看了不少大佬的博客，对拉格朗日乘子法和kkt条件有一点点认识，记录一下

拉格朗日乘子法

数学上我们经常遇到很多地方求极值问题，在没有约束条件下，相对比较容易。但有约束条件下就不太好解决。
(1)无约束
$$minf(x)$$
(2)等式约束
$$minf(x)$$ $$s.t.g(x)==0$$
此类问题，就可以直接应用拉格朗日乘子法，引入系数变量λ,构造新的函数$$F(x,\lambda )=f(x)+\sum _{i=1}^k{\lambda }_i{g}_i(x)$$
对各个系数求导，并且令导数为0，$$\frac{\partial F}{\partial x}=f^{{}^{\prime }}(x)+\sum _{i=1}^k{\lambda }_i{g}_i^{{}^{\prime }}(x)=0$$
$$\frac{\partial F}{\partial {\lambda }_i}=g_i(x)=0$$
可以看到极值的时候要满足的条件是，gi(x)=0,原来的约束条件体现在这，并且F(x)取极值的时候与f(x)相等，F(x)的极值也等于f(x)的极值。因此拉格朗日乘子法可以将等式约束问题转成无约束问题。

看经典的图来直观解释一下，假设在三维坐标上，令z=f(x,y)，我们要求z的极值，约束条件是g(x,y)=0,在xoy平面上，将函数f(x,y)的等高线投影到xoy平面上，交点满足约束条件，并且是f(x,y)的一个值，如果相交的话，一定存在更大或者更小的等高线，那么在相切的位置才可能取到极值。

(3) 不等式约束
$$minf(x)$$ $$s.t.g(x)==0，h(x)<=0$$

构造函数$$F(x,\lambda )=f(x)+\sum _{i=1}^k{\lambda }_i{g}_i(x)+\sum _{i=1}^k{\mu }_i{h}_i(x)$$
kkt条件:

1. $${\mu }_i{h}_i(x)=0$$
2. $${\mu }_i>=0$$
3. $$h_i(x)<=0$$
4. $$f^{{}^{\prime }}(x)+\sum _{i=1}^k{\lambda }_i{g}_i^{{}^{\prime }}(x)+\sum _{i=1}^k{\mu }_i{h}_i^{{}^{\prime }}(x)=0$$

要满足kkt条件，然后应用拉格朗日乘子法求解。
谈谈我对这些条件的认识：
前面已经讲到过在等式约束的时候，F取极值的时候一定也是f的极值，那么2，3条件可以得到$${\mu }_i{g}_i(x)<=0$$
可以得到$$maxF(x)=f(x)，只有{\mu }_i{h}_i(x)=0,才能取到极小值，那么mi{n}_{x}f(x)=mi{n}_{x}ma{x}_{\mu ,\lambda }F(x)$$
$$转化为对偶问题，mi{n}_{x}f(x)=ma{x}_{\mu ,\lambda }mi{n}_{x}F(x),假设x_0处取得极小值.$$
$$mi{n}_{x}f(x)=f(x_0)=ma{x}_{\mu ,\lambda }(f(x_0)+\sum _{i=1}^k{\lambda }_i{g}_i(x_0)+\sum _{i=1}^k{\mu }_i{h}_i(x_0))=f(x_0)$$

再来看条件1：
满足条件1的时候:

1. $${\mu }_i=0,此时约束条件不起作用，不出现在函数F中，极值应该是落在可行域内$$
2. $$g_i(x)=0,此时约束条件起作用，极值应该是落在g_i(x)=0上，不等式约束变成等式约束$$

看图理解一下

如有错误请麻烦指正