（一）拉格朗日乘子法——分析推导

最新推荐文章于 2025-01-03 12:41:43 发布

HawardScut

最新推荐文章于 2025-01-03 12:41:43 发布

阅读量9.1k

点赞数 12

CC 4.0 BY-SA版权

分类专栏：机器学习基础

本文链接：https://blog.youkuaiyun.com/hao5335156/article/details/82320082

机器学习基础专栏收录该内容

15 篇文章

订阅专栏

本文介绍了拉格朗日乘数法的基本原理，解释了如何通过构造辅助函数将带有约束条件的极值问题转化为无约束条件的极值问题进行求解。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

如果 $z=f(x,y)$ 在条件 $g(x,y)=0$ 的条件下，在点 $(x_0,y_0)$ 取得极值，如下图所示。
这里写图片描述
那么， $f(x,y)$ 的梯度与 $g(x,y)$ 的梯度平行，即向量 $({f_x}'(x_0,y_0),{f_y}'(x_0,y_0))$ 与向量 $({g_x}'(x_0,y_0),{g_y}'(x_0,y_0))$ 平行。所以有

f x ' ( x 0 , y 0 ) g x ' ( x 0 , y 0 ) = f y ' ( x 0 , y 0 ) g y ' ( x 0 , y 0 ) = - λ 0 (1)

$\frac{{f_x}'(x_0,y_0)}{{g_x}'(x_0,y_0)}=\frac{{f_y}'(x_0,y_0)}{{g_y}'(x_0,y_0)}=-\lambda_0 \qquad (1)$
即

⎧ ⎩ ⎨ ⎪ ⎪ ⎪ ⎪ ⎪ ⎪ ⎪ ⎪ ⎪ ⎪ ⎪ ⎪ f x' (x 0, y 0) + λ 0 g x' (x 0, y 0) = 0 f y' (x 0, y 0) + λ 0 g y' (x 0, y 0) = 0 g (x 0, y 0) = 0 (2)

$\left\{\begin{matrix} {f_x}'(x_0,y_0)+\lambda_0{g_x}'(x_0,y_0)=0\\ \\ {f_y}'(x_0,y_0)+\lambda_0{g_y}'(x_0,y_0)=0\\ \\ g(x_0,y_0)=0 \end{matrix}\right. \qquad (2)$
引入辅助函数

L(x,y,λ)=f(x,y)+λg(x,y)L(x,y,λ)=f(x,y)+λg(x,y) $L(x,y, \lambda)=f(x,y)+\lambda g(x,y)$ ，对该函数求偏导得

⎧ ⎩ ⎨ ⎪ ⎪ ⎪ ⎪ ⎪ ⎪ ⎪ ⎪ ⎪ ⎪ ⎪ ⎪ ⎪ ⎪ ⎪ ⎪ ⎪ ⎪ \partial L ( x , y , λ ) \partial x = f x' (x, y) + λ g x' (x, y) = 0 \partial L ( x , y , λ ) \partial y = f y' (x, y) + λ g y' (x, y) = 0 \partial L ( x , y , λ ) \partial λ = g (x, y) = 0 (3)

$\left\{\begin{matrix} \frac{\partial L(x,y, \lambda)}{\partial x}={f_x}'(x,y)+\lambda{g_x}'(x,y)=0\\ \\ \frac{\partial L(x,y, \lambda)}{\partial y}={f_y}'(x,y)+\lambda{g_y}'(x,y)=0\\ \\ \frac{\partial L(x,y, \lambda)}{\partial \lambda}=g(x,y)=0 \end{matrix}\right. \qquad(3)$
求偏导的结果显示，公式(3)实际上就是公式(2)，这意味着求条件极值问题可以转化为无条件极值问题求解。其中，辅助函数