拉格朗日乘数法，拉格朗日对偶和KKT约束

拉格朗日乘数法

拉格朗日乘数法是求变量在一个或多个约束下的极值问题

eg：已知双曲线 $xy=3$，求曲线上距离原点最近的点。
由题我们可以得出如下式子：
$$minf(x,y)=x^2+y^2$$
\qquad\qquad\qquad\qquad\qquad\qquad\qquad\qquad subject to constraint $xy=3$ \quad $\to$ \quad $g(x,y)=3$
解:
求极值，意味着两条线在极值点处相切，即 $\Delta f=\lambda \ast \Delta g$
$$\frac{\Delta f\left(x,y\right)}{\Delta x}=2x=\lambda \ast \frac{\Delta g\left(x,y\right)}{\Delta x}=\lambda \ast y$$
$$\frac{\Delta f\left(x,y\right)}{\Delta y}=2y=\lambda \ast \frac{\Delta g\left(x,y\right)}{\Delta y}=\lambda \ast x$$
$$g(x,y)=3$$
$2x-\lambda y=0$
$\lambda x-2y=0$
$xy=3$
上述三个方程可以化解成矩阵进行求解：
[2−λλ−2]∗[xy]=[00] \begin{bmatrix} 2 & -\lambda \\ \lambda & -2 \\ \end{bmatrix} * \begin{bmatrix} x \\ y \\ \end{bmatrix} = \begin{bmatrix} 0 \\ 0 \\ \end{bmatrix}