Lagrange乘子法

最新推荐文章于 2024-08-27 20:46:42 发布

liyi_echo

最新推荐文章于 2024-08-27 20:46:42 发布

阅读量541

点赞数

分类专栏：算法文章标签：机器学习支持向量机人工智能

本文链接：https://blog.youkuaiyun.com/qq_22987913/article/details/123233001

版权

算法专栏收录该内容

3 篇文章

订阅专栏

简单讲下拉格朗日乘子法

考虑标准形式的优化问题：

minimize $f_0(x)$

subject to $f_i(x) \leqslant 0, i = 1, ... , m,$

$h_i(x) = 0, i = 1, ... , p,$

x定义域为所有 $f_i(x)$ 和 $h_i(x)$ 的定义域交集，记为D。

首先定义Lagrange函数L：

$L(x,\lambda , \upsilon ) = f_0(x) + \sum_{i=1}^{m}\lambda _i f_i(x) + \sum_{i=1}^{p}\upsilon _i h_i(x)$

然后定义Lagrange对偶函数g：

$g(\lambda , \upsilon ) = \inf_{x\in D}L(x,\lambda, \upsilon) = \inf_{x\in D}\left ( f_0(x) + \sum_{i=1}^{m}\lambda _i f_i(x) + \sum_{i=1}^p\upsilon _i h_i(x)]\right )$

结论1：注意上面的对偶函数g，其参数为 $\lambda$ 和 $\upsilon$ 。它的定义域规定为 $\lambda \in R_+^m=\{(\lambda_1, ..., \lambda_m)| \lambda_i \geqslant 0,i=1, ..., m\}, \upsilon \in R^p$ ， inf的括号内的函数，若把x看作常数，其实是关于 $\lambda$ 和 $\upsilon$ 线性函数。而线性函数既是凸函数又是凹函数，且一系列凹函数的逐点下确界函数仍然是凹函数（见《凸优化》第3.2.3）。故函数g一定是凹函数。

结论2：设上面的优化问题最优值为 $p^*$ ，则 $g(\lambda , \upsilon ) \leqslant p^*$ 对任意 $\lambda \in R_+^m,\upsilon \in R^p$ 都成立。

证明：设 $\widetilde{x}$ 是上面优化问题的一个可行点（即 $\widetilde{x} \in D$ 且 $\widetilde{x}$ 满足等式约束和不等式约束），则

$L(\widetilde{x}, \lambda , \upsilon ) = f_0(\widetilde{x}) + \sum_{i=1}^{m}\lambda _i f_i(\widetilde{x}) + \sum_{i=1}^{p}\upsilon _i h_i(\widetilde{x}) \leqslant f_0(\widetilde{x})$ .

这是因为 $\lambda _i \geqslant 0, f_i(\widetilde{x}) \leqslant 0, h_i(\widetilde{x}) = 0$ ，因此有

$g(\lambda , \upsilon ) = \inf_{x \in D} L(x, \lambda , \upsilon ) \leqslant L(\widetilde{x}, \lambda , \upsilon ) \leqslant f_0(\widetilde{x})$ .

由于每个可行点 $\widetilde{x}$ 都满足 $g(\lambda , \upsilon ) \leqslant f_0(\widetilde{x})$ ，因此 $g(\lambda , \upsilon ) \leqslant p^*$ 得证。