优化问题中拉格朗日函数的意义

考虑优化问题：
$$\begin{array}{ll}{\min }_x& f(x)\\ & \\ s.t.& c_1(x)=0\\ & \\ & c_2(x)\ge 0\end{array}$$

构造拉格朗日函数：
$$L(x,\lambda )=f(x)-{\lambda }_1{c}_1(x)-{\lambda }_2{c}_2(x)$$
等式约束的对偶变量 ${\lambda }_1$ 在拉格朗日函数中取正取负都行，但不等式约束的对偶变量 ${\lambda }_2$ 在这里只能取正（${\lambda }_2>0$ 或 $-{\lambda }_2<0$）。

为什么呢？

因为只有这样，在可行域 D = { x ∣ c 1 ( x ) = 0 , c 2 ( x ) ≥ 0 } D=\{x| c_1(x) = 0, c_2(x) \geq0\} D={x∣c1​(x)=0,c2​(x)≥0} 内，原目标函数 $f(x)$ 是拉格朗日函数的一个上界，即
$$\underset{\lambda }{\max }L(x,\lambda )=\{\begin{array}{lr}f(x),& x\in D,\\ +\infty ,& otherwise.\end{array}\text{\hspace{1em}(1)}$$

所以原优化问题等价于：
$$\underset{x}{\min }f(x)=\underset{x}{\min }\underset{\lambda }{\max }L(x,\lambda )$$

从中可以看出拉格朗日函数的意义，把约束问题转化成了无约束问题。

因为可行域内的值永远小于可行域外的正无穷大，在求极小值的时候一定能保证结果在可行域内。