拉格朗日乘数法，拉格朗日对偶和KKT约束

最新推荐文章于 2023-04-24 10:37:15 发布

原创

最新推荐文章于 2023-04-24 10:37:15 发布 · 457 阅读

2 ·

CC 4.0 BY-SA版权

文章标签：

#机器学习 #SVM #拉格朗日乘子

本文介绍了拉格朗日乘数法及其在解决约束优化问题中的应用，如求解距离原点最近的点。接着讨论了拉格朗日对偶问题，展示了如何通过构造拉格朗日函数来消除约束条件，并定义了原始问题和对偶问题之间的关系。最后，阐述了Karush-Kuhn-Tucker（KKT）条件，作为判断原始问题和对偶问题极值相等时必须满足的条件，特别是对于凸优化问题和仿射函数约束的情况。

拉格朗日乘数法

拉格朗日乘数法是求变量在一个或多个约束下的极值问题

eg：已知双曲线 $x y = 3$ ，求曲线上距离原点最近的点。
由题我们可以得出如下式子：
$min f(x,y) =x^{2}+y^{2}$
$\qquad\qquad\qquad\qquad\qquad\qquad\qquad\qquad$ subject to constraint $x y = 3$ $\quad$ $→\to$ $\quad$ $g (x, y) = 3$
解:
求极值，意味着两条线在极值点处相切，即 $Δf=λ∗Δg{\Delta f} = \lambda * \Delta g$
$\frac{\Delta f\left ( x,y\right )}{\Delta x} = 2x = \lambda * \frac{\Delta g\left ( x,y\right )}{\Delta x} = \lambda * y$
$\frac{\Delta f\left ( x,y\right )}{\Delta y} = 2y = \lambda * \frac{\Delta g\left ( x,y\right )}{\Delta y} = \lambda * x$
$g (x, y) = 3$
$2x−λy=02x-\lambda y =0$
$λx−2y=0\lambda x-2y=0$
$x y = 3$
上述三个方程可以化解成矩阵进行求解：
$\begin{bmatrix} 2 & -\lambda \\ \lambda & -2 \\ \end{bmatrix} * \begin{bmatrix} x \\ y \\ \end{bmatrix} = \begin{bmatrix} 0 \\ 0 \\ \end{bmatrix}$