拉格朗日乘数法

最新推荐文章于 2025-05-07 13:17:31 发布

FrenchOldDriver

最新推荐文章于 2025-05-07 13:17:31 发布

阅读量8.4k

点赞数 2

CC 4.0 BY-SA版权

分类专栏：算法文章标签：算法概率论机器学习

本文链接：https://blog.youkuaiyun.com/OldDriver1995/article/details/124600926

算法专栏收录该内容

8 篇文章

订阅专栏

拉格朗日函数用于约束优化问题。约束优化问题简而言之就是在有一堆约束 $Σi=1gi(x)\Sigma_{i=1} g_i(x)$ 的情况下求目标函数 $f (x)$ 的问题，说起来很抽象，直接来点例子看比较直观。

例1. 求 $f (x, y, z) = x yz$ 在条件 $(x,y,z,a>0)\frac{1}{x}+\frac{1}{y}+\frac{1}{z}=\frac{1}{a}\ (x,y,z,a>0)$ 下的最小值。

直接构造拉格朗日函数 $L(x,y,z,λ)=f(x,y,z)+λg(x)=xyz+λ(1x+1y+1z−1a)L(x,y,z,\lambda)=f(x,y,z)+\lambda g(x)= \\ xyz+\lambda (\frac{1}{x}+\frac{1}{y}+\frac{1}{z}-\frac{1}{a})$

然后 $L (x, y, z, a)$ 分别对 $x, y, z, a$ 求导，可的一系列方程式：

$∂L∂x=yz−λx2=0∂L∂y=xz−λy2=0∂L∂z=xy−λz2=0∂L∂λ=1x+1y+1z−1a=0\frac{\partial L}{\partial x}=yz-\frac{\lambda}{x^2}=0 \\ \frac{\partial L}{\partial y}=xz-\frac{\lambda}{y^2}=0\\ \frac{\partial L}{\partial z}=xy-\frac{\lambda}{z^2}=0\\ \frac{\partial L}{\partial \lambda}=\frac{1}{x}+\frac{1}{y}+\frac{1}{z}-\frac{1}{a}=0$

然后将带有 $λ\lambda$ 的挪到右边并且把分母乘过去：
$x2yz=λ,xy2z=λ,xyz2=λx^2yz=\lambda,xy^2z=\lambda, xyz^2=\lambda$
再依次相除，并代入 $∂L∂λ\frac{\partial L}{\partial \lambda}$ 中，可得 $x = y = z = 3 a$ 。

如果还是不太懂可以再看一个例子：
例2. $u = x y + 2 yz$ 在约束条件 $x^2+y^2+z^2=10$ 的最大最小值。

直接构造拉格朗日函数:
$L(x,y,z,λ)=xy+2yz+λ(x2+y2+z2−10)L(x,y,z,\lambda)=xy+2yz+\lambda(x^2+y^2+z^2-10)$

分别求偏导:
$∂L∂x=y+2λx=0∂L∂y=x+2z+2λy=0∂L∂z=2y+2λz=0\frac{\partial L}{\partial x}=y+2\lambda x=0 \\ \frac{\partial L}{\partial y}=x+2z+2\lambda y =0\\ \frac{\partial L}{\partial z}=2y+2\lambda z=0$

这里是一个标准的线性方程组的形式，可以直接行列式求解，得到 $λ=52,−52,0\lambda=\frac{\sqrt{5}}{2}, -\frac{\sqrt{5}}{2}, 0$ ，分别带回去， $λ=52\lambda=\frac{\sqrt{5}}{2}$ 可得驻点 $(1，−5，2)，(−1，5,−2)(1，-\sqrt{5}，2)，(-1，\sqrt{5},-2)$ ，他们两个对应一个极值 $u=−55u=-5\sqrt{5}$ ，而 $λ=−52\lambda=-\frac{\sqrt{5}}{2}$ 可得驻点 $(1,5,2),(−1,−5,−2)(1,\sqrt{5},2),(-1,-\sqrt{5},-2)$ ，代回原式可得极值 $555\sqrt{5}$ 。当 $λ=0\lambda=0$ ，可得驻点 $(22,0,−2),(−22,0,2)(2\sqrt{2},0,-\sqrt{2}),(-2\sqrt{2},0,\sqrt{2})$ ，可得极值为0。所以最大值最小值就显而易见。