拉格朗日乘子法和KKT条件

转载自：http://www.cnblogs.com/zhangchaoyang/articles/2726873.html#3592012

拉格朗日乘子法(Lagrange Multiplier)和KKT(Karush-Kuhn-Tucker)条件是求解约束优化问题的重要方法，在有等式约束时使用拉格朗日乘子法，在有不等约束时使用KKT条件。前提是：只有当目标函数为凸函数时，使用这两种方法才保证求得的是最优解。

对于无约束最优化问题，有很多经典的求解方法，参见无约束最优化方法。

拉格朗日乘子法

先来看拉格朗日乘子法是什么，再讲为什么。

     

这个问题转换为

             

其中    

，称为拉格朗日乘子。

下面看一下wikipedia上是如何解释拉格朗日乘子法的合理性的。

现有一个二维的优化问题：

        

我们可以画图来辅助思考。

绿线标出的是约束  

的点的轨迹。蓝线是  

的等高线。箭头表示斜率，和等高线的法线平行。

从图上可以直观地看到在最优解处，f和g的法线方向刚好相反（或者说叫梯度共线），即

      

而满足  

的点同时又是  

的解。

      

所以  

和  

等价。

新方程  

在达到极值时与   相等，因为   达到极值时  

总等于零。

KKT条件

先看KKT条件是什么，再讲为什么。

             

其中      

        

=>  

 

        

 

            

上面的推导到此中断一下，我们看另外一个式子。

                           

这里的  

和   都就向量，所以去掉了下标   。另外一些博友不明白上式中         是怎么推出来的，其实很简单，因为   与变量  

无关，所以这个等式就是成立的。

又         

=>          

     

此时  

                  

此时  

联合  

,   我们得到          

亦即                      

=>            

我们把      

称为原问题       的对偶问题，上式表明当满足一定条件时原问题、对偶的解、以及     是相同的，且在最优解     处     。把     代入   得         ，由   得         ，所以       ，这说明     也是   的极值点，即         

。

最后总结一下：

                     

=>                                      

KKT条件是拉格朗日乘子法的泛化，如果我们把等式约束和不等式约束一并纳入进来则表现为：

                                              

=>                                      

注：  

都是向量。

        

表明   在极值点     处的梯度是各个       和      

梯度的线性组合。

原文来自:博客园（华夏35度）http://www.cnblogs.com/zhangchaoyang作者:Orisun