拉格朗日乘子法

拉格朗日乘子法

拉格朗日乘子法是一种寻找多元函数在一组约束下的极值的方法。通过引入拉格朗日乘子，可将有$d$个变量和$k$个约束条件的最优化问题转换为具有$d+k$个变量的无约束优化问题求解

等式约束

先考虑一个等式约束的优化问题。假定$x$为$d$维向量，欲寻找$x$的某个取值$x^{\ast }$,使目标函数$f(x)$最小且同时满足$g(x)=0$的约束。从几何角度看，该问题的目标是在由方程$g(x)=0$确定的$d-1$维曲面上寻找能使目标函数$f(x)$最小化的点。

原始优化问题:
$$\begin{gathered} \underset{x}{\min }f(x) \\ s.t.g(x)=0\text{\hspace{1em}(1)} \end{gathered}$$

首先，我们给出下面的命题：

命题1：设$F$为$n$元函数，$F(x)=c$为一等值面，对$F(x)=c$上的一点$P$，$F$在$P$点的梯度$\nabla F(P)$就是等值面$F(x)=c$在$P$点的法向量。（由法向量定义得到）

命题2：设$F$为$n$元函数，$P$为其定义域中的一个点，$F$在点$P$处的梯度为$\nabla F(P)$，则点$P$沿着正交于$\nabla F(P)$的方向运动时，函数值不会发生变化。（由方向导数和梯度的关系得到）

由此，我们可以得出下面两个结论：

结论1：对于约束曲面上的任意点$x$，该点的$\nabla g(x)$梯度正交于约束曲面。

结论2：最优点$x^{\ast }$，目标函数在该点的梯度$\nabla f(x^{\ast })$正交于约束曲面。

结论1，可由命题1得到。

结论2，可由反证法得到。如果不正交，则可在约束曲面上移动该点，使函数值进一步下降。具体来说，不正交的话，可将沿着约束曲面的运动分解为两个方向，梯度方向和正交于梯度方向，沿梯度方向（反向）运动时，使函数值下降，沿正交梯度方向运动，不影响函数值。最终结果是使函数值降低。

由结论1和结论2可知，在最优点$x^{\ast }$，梯度$\nabla g(x)$和$\nabla f(x)$的方向必相同或相反，即存在$\lambda ̸=0$，使得
$$\nabla f(x^{\ast })+\lambda \nabla g(x^{\ast })=0\text{\hspace{1em}(2)}$$
$$f(x^{\ast })=0\text{\hspace{1em}(3)}$$

$\lambda$称为拉格朗日乘子。定义拉格朗日函数
$$L(x,\lambda )=f(x)+\lambda g(x)\text{\hspace{1em}(4)}$$
由于
$${\nabla }_{x}L(x,\lambda )=\nabla f(x)+\lambda \nabla g(x)=0\text{\hspace{1em}(5)}$$

$${\nabla }_{\lambda }L(x,\lambda )=g(x)=0\text{\hspace{1em}(6)}$$

观察公式$(1)(2)$与公式$(4)(5)$，可得，它们是等价的，而公式$(4)(5)$表示的是对拉格朗日函数$L(x,\lambda )$的求极值。因此，原约束问题$(1)$就转化成了对拉格朗日函数$L(x,\lambda )$的无约束优化问题。

需要注意的是，$x^{\ast }$满足公式$(2)(3)$是$x^{\ast }$是原始优化问题最优解的必要条件，因为所有极值都满足公式$(2)(3)$。因此，通过拉格朗日乘子法求得的解是原问题的极值点，是不是最值点还需验证。不过，如果$f$是凸函数，那就无需验证了。对于凸函数而言，极值点和最值点是一致的。

总而言之，拉格朗日函数求出的最优解是原问题最优解的必要条件，本质是极值点是最值点的必要条件。

不等式约束与KKT条件

现在考虑不等式约束$g(x)\le 0$，如附图B.1所示，此时最优点$x^{\ast }$或在$g(x)<0$的区域中，或在边界$g(x)=0$上。

对于$g(x)<0$的情形，约束$g(x)\le 0$不起作用（相当于$\lambda =0$），可直接通过条件$\nabla f(x)=0$来获得最优解；这等价于
KaTeX parse error: No such environment: equation at position 44: … \\ s.t.\begin{̲e̲q̲u̲a̲t̲i̲o̲n̲}̲ \left\{ \be…
$g(x)=0$的情形类似上面关于等式约束的分析，但需要注意的是，此时$\nabla f(x^{\ast })$的方向必与$\nabla g(x^{\ast })$相反（后面会详细解释），即
$$\begin{gathered} \lambda >0 \\ \nabla f(x^{\ast })+\lambda \nabla g(x^{\ast })=0 \end{gathered}$$
这等价于
KaTeX parse error: No such environment: equation at position 43: …) \\ s.t.\begin{̲e̲q̲u̲a̲t̲i̲o̲n̲}̲ \left\{ \be…

综合上面两种情况，可以得到，在约束$g(x)\le 0$下最小化$f(x)$，可转化下面的形式:
KaTeX parse error: No such environment: equation at position 57: …) \\ s.t.\begin{̲e̲q̲u̲a̲t̲i̲o̲n̲}̲ \left\{ \be…
这三个约束条件称为$KKT$条件。

当约束条件为不等式时，构造的拉格朗日函数也称作广义拉格朗日函数，以和等式约束下的拉格朗日函数区分。

需要注意的是，此时仍然为必要条件。只有$f$和$g$同时为凸函数，并且不等式约束严格可行，即存在$x$，使得$g(x)<0$，此时为充要条件。

$KKT$条件可以是拉格朗日乘子法的泛化，将不等式约束也用拉格朗日乘子法处理，此时，相较于等式，多了一些限制条件。

最后，我们说一下图附B.1(b)，如图所示，$g(x)=0$为曲面边界，$g(x)<0$为曲面内部，如果函数最优解$x^{\ast }$在$g(x)<0$，即在曲面内部，则$\lambda =0$，通过$\nabla f(x)=0$求解，无需多说。如果$x^{\ast }$在边界$g(x)=0$上，由于内部$g(x)<0$，边界$g(x)=0$，因此，外部$g(x)>0$，所以，此时$\nabla g(x^{\ast })$指向曲面内部。因为最优解在边界取，而不在内部取，所以内部函数值必定大于$f(x^{\ast })$，所以，此时$\nabla f(x^{\ast })$指向曲面外部。因此，$\nabla f(x^{\ast })$与$g(x^{\ast })$方向相反。如果曲面内部$g(x)>0$，外部$g(x)<0$，则$\nabla g(x^{\ast })$指向曲面内部，$\nabla f(x^{\ast })$指向曲面外部，两者方向仍相反。

总之，$\nabla g(x^{\ast })$指向$g(x)>0$一侧，$\nabla f(x^{\ast })$指向$g(x)<0$一侧，两者方向总是相反的。

同时有等式和不等式约束

将上述做法推广到多个约束。考虑具有$m$个等式约束和$n$个不等式约束，且可行域非空的优化问题
KaTeX parse error: No such environment: equation at position 60: …) \\ s.t.\begin{̲e̲q̲u̲a̲t̲i̲o̲n̲}̲ \left\{ \be…
引入拉格朗日乘子$\lambda =({\lambda }_1,...,{\lambda }_m{)}^T$和$\mu =({\mu }_1,...,{\mu }_n{)}^T$，相应的拉格朗日函数为
$$L(x,\lambda ,\mu )=f(x）+\sum _{i=1}^m{\lambda }_i{h}_i(x)+\sum _{i=1}^m{\mu }_i{g}_i(x)$$
由不等式约束引入的$KKT$条件$(j=1,...,n)$为
KaTeX parse error: No such environment: equation at position 8: \begin{̲e̲q̲u̲a̲t̲i̲o̲n̲}̲ \left\{ \be…
此时仍然为必要条件。只有$f$和$g_j$为凸函数，$h_i$为仿射函数，并且不等式约束严格可行，即存在$x$，使得对所有的$j$有$g_j(x)<0$，此时为充要条件。

思考

拉格朗日乘子法最初是为了解决等式约束下的优化问题，即将等式约束优化问题转化为无约束优化问题；然后，再将拉格朗日乘子法泛化到不等式约束，此时，无法将其转化为无约束优化问题，只能将其转化为约束优化问题，约束条件即为$KKT$条件。

转化只能得到必要条件。对与只含等式约束的优化问题，目标函数时凸函数即可保证为充要条件；对含有不等式的约束，要求目标函数和不等式约束都是凸函数，等式约束为仿射函数，不等式约束严格可行，才能保证是充要条件。（指的是两者最优解$x^{\ast }$）