从放弃到再入门之拉格朗日对偶问题推导

普通同学的解法

1. 无约束条件：求导就可以了
2. 等式约束：代入消元，再求导
3. 不等式约束：分情况讨论（在边界上和不在边界上），分别对应1,2的情况
   然而发现，有些情况消元特别复杂，甚至不能求解

聪明同学的解法

发现：在最优点的情况下，约束曲面的法向量和目标函数的梯度反向必相同或相反
拉格朗日乘子法如何理解？ （在2维里可以形象的解释为z=f(x,y)在约束条件g(x,y)=c中，极值为等高线f(x,y)=k与g(x,y)=c相切的时候）
于是就有了方程： ▽f(x*)+λ▽h(x*)=0
联合这个方程和h(x)=0，在某些情况比繁琐的消元好多了，至少能求解

天才同学的解法（拉格朗日乘子法）

天才可不仅仅停留在方程求解，发现了梯度之间的关系，就可以建立新的函数（拉格朗日函数）：L(x,λ)=f(x)+λh(x),分别对这个函数求偏导，即还原了初始问题。

同理，对于不等式约束问题，分情况讨论，可以建立带KKT条件的拉格朗日函数&