对偶理论说明

咖喱飞饼手抓饭

已于 2022-04-17 19:50:01 修改

阅读量2.9k

点赞数 4

分类专栏：凸优化文章标签：图像处理算法

于 2022-04-05 17:53:57 首次发布

本文链接：https://blog.youkuaiyun.com/qq_37668179/article/details/123952460

版权

凸优化专栏收录该内容

6 篇文章

订阅专栏

本文详细探讨了带约束优化问题的拉格朗日函数及其对偶性，包括如何构造拉格朗日函数、对偶函数的定义、强弱对偶性的推导，以及在线性规划和最小二范数问题中的应用实例。理解这对优化问题求解至关重要。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

考虑的问题是带约束的（ $s.t.$ 意思是 subject to 受制于）优化问题：

准确的说，约束的是是自变量 $\large x$ , $s.t.$ 后的意思就是：这个自变量（比如是向量 $\large x$ ）

在 $i\in I$ 的情况下， $c_{i}(x)\leqslant 0$ ；

在 $i\in \varepsilon$ 的情况下， $c_{i}(x)=0$ ；

就是 $x$ 都要满足，所以可行域定义为：

拉格朗日函数与对偶问题

拉格朗日函数的基本思想是给该问题中的每一个约束指定一个拉格朗日乘子，以乘子为加权系数将约束增加到目标函数中。

拉格朗日函数：

对拉格朗日函数 $L(x,\lambda ,\upsilon )$ 中的 $x$ 取下确界可定义拉格朗日对偶函数，这一函数将在对偶理论中起到很关键的作用。

拉格朗日对偶函数(定理：对偶函数都为凹函数)：

$\large g(\lambda ,\upsilon )=min_{x}L(x,\lambda ,\upsilon )$

通俗的讲，拉格朗日对偶函数就是，调节 $\lambda ,\upsilon$ 的值，使得 $L(x,\lambda ,\upsilon )$ 最小。

拉格朗日对偶函数与原问题的关系：

$\large f(x)\geqslant L(x,\lambda ,\upsilon )\geqslant g(\lambda ,\upsilon )$

弱对偶性原理：

看上面一行，我们已知一个关系： $f(x)\geqslant L(x,\lambda ,\upsilon )\geqslant g(\lambda ,\upsilon )$ ，可以推断出：

$\large {\color{Red} f(x^{*})\geqslant g(\lambda ^{*})}$

$\large {\color{Red} p^{*}\geqslant d^{*}}$

满足就是弱对偶性。

强对偶性原理：

我们用图来举例说明：

图解：图上方的黑色曲线为 $f(x)$ ，下方的黑色弧线为在 $i\in I$ 的情况下， $c_{i}(x)\leqslant 0$ ，然后这些彩色的点点组成的曲线，表示在不同 $\lambda ,\upsilon$ 下的 $L(x,\lambda ,\upsilon )$ 。

1. 根据上面的公式， $\lambda _{i}$ 肯定是大于零的，而且也提到了，我们可以看到在 $i\in I$ 的情况下， $c_{i}(x)\leqslant 0$ ，所以推出，原式 $f(x)$ 的最优解：

${\color{Red} \large min_{x}f(x)=min_{x}(max_{\lambda ,\upsilon }L(x,\lambda ,\upsilon ))=p^{*}}$

公式详解：首先区域一定是在两条竖着的虚线中间，等式左边我们要求的 $min_{x}f(x)$ 就是求极小值时 $x$ 的值，也就是最优解，等式右侧的 $max_{\lambda ,\upsilon }$ 表示调节参数 $\lambda ,\upsilon$ 使得函数 $L$ 改变，就是图中那些彩色的点点组成的连续函数，最大明显就还是最上面的实线，也就还是 $f(x)$ ，再取 $min_{x}$ ，就是这条线上的最小值对应的 $x$ ，最小值时我们看到： $x=-0.46$ ，对应： $p^{*}=1.54$

2. 根据上面的公式，我们希望求其对偶函数的最优解，对偶函数公式为（ $\large inf$ 为下确界）：

$\large g(\lambda ,\upsilon )=min_{x}L(x,\lambda ,\upsilon )=infL(x,\lambda ,\upsilon )$

其对偶最优为：

${\color{Red} max_{\lambda ,\upsilon }g(\lambda ,\upsilon )=max_{\lambda ,\upsilon }(min_{x}L(x,\lambda ,\upsilon ))=max_{\lambda ,\upsilon }(infL(x,\lambda ,\upsilon ))=d^{*}}$

公式详解：首先区域一定是在两条竖着的虚线中间，我们先了解一下其中的 $min_{x}L(x,\lambda ,\upsilon )$ ，也就是对偶函数 $\large g(\lambda ,\upsilon )$ 为两条竖着的虚线中间那些彩色的点点组成的不同 $\lambda ,\upsilon$ 下的一个个函数，先找出这些函数每个函数取最小值的时候，对应的 $x$ 值，这样每一个函数上都有一个 $x$ ，组成了一个集合，然后通过 $max_{\lambda ,\upsilon }$ 操作，再找刚才这些点集合的最大点，我们发现，最后得出的点对应的： $x=-0.46$ ，对应： $d^{*}=1.54$