凸优化学习-（十八）对偶性Duality 拉格朗日函数与对偶函数

凸优化学习

对偶性是凸优化学习的核心，重中之重。

学习笔记

一、拉格朗日函数与对偶函数

对于一个普通优化问题：
$$\begin{array}{rlrl}\min & & f_0(x)& \\ \text{s.t.}& & f_i(x)& \le 0i=1\cdots m\\ & & h_i(x)& =0i=1\cdots p\end{array}$$
由此问题定义的拉格朗日函数($\text{lagrangian function}$)：
$$l(x,\lambda ,v)=f_0(x)+\sum _{i=1}^m{\lambda }_i{f}_i(x)+\sum _{i=1}^p{v}_i{h}_i(x)$$
其中$\lambda ,v$被称为拉格朗日乘子，分别为与等式相关的拉格朗日乘子和与不等式相关的拉格朗日乘子。
由拉格朗日函数构造的对偶函数($\text{dual function}$)：
$$g(\lambda ,v)=\underset{x\in D}{\inf }l(x,\lambda ,v)$$

二、对偶函数的性质

1、对偶函数一定是凹函数

线性函数组合的$\inf$一定是凹函数。
线性函数组合的$\sup$一定是凸函数。

2、$g(\lambda ,v)\le p^{\ast }$

*证明：*设$x^{\ast }$是原问题最优解，则必是可行解。
则l(x∗,λ,v)=f0(x∗)+∑i=1mλifi(x∗)+0≤p∗ \begin{aligned} l(x^*,\lambda,v)&=f_0(x^*)+\sum_{i=1}^m\lambda_if_i(x^*)+0\\ &\le p^* \end{aligned} l(x∗,λ,v)​=f0​(x∗)+i=1∑m​λi​f