凸优化学习-（十八）对偶性Duality 拉格朗日函数与对偶函数

凸优化学习

对偶性是凸优化学习的核心，重中之重。

学习笔记

一、拉格朗日函数与对偶函数

对于一个普通优化问题：
$$\begin{array}{rlrl}\min & & f_0(x)& \\ \text{s.t.}& & f_i(x)& \le 0i=1\cdots m\\ & & h_i(x)& =0i=1\cdots p\end{array}$$
由此问题定义的拉格朗日函数($\text{lagrangian function}$)：
$$l(x,\lambda ,v)=f_0(x)+\sum _{i=1}^m{\lambda }_i{f}_i(x)+\sum _{i=1}^p{v}_i{h}_i(x)$$
其中$\lambda ,v$被称为拉格朗日乘子，分别为与等式相关的拉格朗日乘子和与不等式相关的拉格朗日乘子。
由拉格朗日函数构造的对偶函数($\text{dual function}$)：
$$g(\lambda ,v)=\underset{x\in D}{\inf }l(x,\lambda ,v)$$

二、对偶函数的性质

1、对偶函数一定是凹函数

线性函数组合的$\inf$一定是凹函数。
线性函数组合的$\sup$一定是凸函数。

2、$g(\lambda ,v)\le p^{\ast }$

*证明：*设$x^{\ast }$是原问题最优解，则必是可行解。
则$$\begin{array}{rl}l(x^{\ast },\lambda ,v)& =f_0(x^{\ast })+\sum _{i=1}^m{\lambda }_i{f}_i(x^{\ast })+0\\ & \le p^{\ast }\end{array}$$
而$g$是$l$的下界，故有
$$g(\lambda ,v)\le l(x^{\ast },\lambda ,v)\le p^{\ast }$$
所以，极大化$g$，可以得到$p^{\ast }$的最好下界。而$g$是凹的，极大化$g$是一个凸问题，这为我们解非凸问题提供了一种思路。

三、几个求拉格朗日函数和对偶函数的例子

例1：二次规划

$$\begin{array}{rlrl}& & \min & x^{T}x\\ & & \text{s.t.}& \text{A}x-b=0\\ & & & \\ \Rightarrow & & l(x,v)& =x^{T}x+v(\text{A}x-b)\\ \Rightarrow & & g(v)& =\underset{x}{\inf }l(x,v)\\ & & & =\underset{x}{\inf }{x}^{T}x+v^T\text{A}x-v^{T}b\end{array}$$

例2：线性规划

$$\begin{array}{rlrl}& & \min & c^{T}x\\ & & \text{s.t.}& \text{A}x-b=0\\ & & & x\ge 0\\ & & & \\ \Rightarrow & & l(x,\lambda ,v)& =c^{T}x-{\lambda }^{T}x+v^T(\text{A}x-b)\\ & & & =-b^{T}v+(c+{\text{A}}^{T}v-\lambda {)}^{T}x\\ \Rightarrow & & g(v)& =\underset{x}{\inf }l(x,\lambda ,v)\\ & & & =\{\begin{array}{ll}-b^{T}v& {\text{A}}^{T}v-\lambda +c=0\\ -\infty & \text{otherwise}\end{array}\end{array}$$

例3：非凸约束的二次规划

min⁡xTWxs.t.xi={−1,1}i=1⋯m⇔min⁡xTWxs.t.xi2−1=0    i=1⋯m⇒l(x,λ,v)=xTWx+∑i=1nvi(xi2−1)=xT(W+Diag(v))x−1Tv⇒g(v)=inf⁡xl(x,λ,v)={−1TvW+Diag(v)⪰0−∞otherwise \begin{aligned} &&\min\qquad& x^T\textbf Wx\\ &&\text{s.t.}\qquad&x_i=\lbrace-1,1\rbrace\qquad i=1\cdots m \\ \\ \Leftrightarrow&&\min\qquad& x^T\textbf Wx\\ &&\text{s.t.}\qquad&x_i^2-1=0\qquad \ \ \ \ i=1\cdots m \\ \Rightarrow&&l(x,\lambda,v)&=x^T\textbf Wx+\sum_{i=1}^nv_i(x_i^2-1)\\ &&&=x^T\big(\textbf W+\text{Diag}(v)\big)x-1^Tv \\ \Rightarrow&&g(v)&=\inf_x l(x,\lambda,v)\\ &&&=\begin{cases} -1^Tv&\textbf W+\text{Diag} (v)\succeq0\\ -\infty&\text{otherwise} \end{cases} \end{aligned} ⇔⇒⇒​​mins.t.mins.t.l(x,λ,v)g(v)​xTWxxi​={−1,1}i=1⋯mxTWxxi2​−1=0    i=1⋯m=xTWx+i=1∑n​vi​(xi2​−1)=xT(W+Diag(v))x−1Tv=xinf​l(x,λ,v)={−1Tv−∞​W+Diag(v)⪰0otherwise​​

四、对偶问题（$\text{Dual problem}$）

对于一个普通优化问题：
$$\begin{array}{rlrl}\min & & f_0(x)& \\ \text{s.t.}& & f_i(x)& \le 0i=1\cdots m\\ & & h_i(x)& =0i=1\cdots p\end{array}$$
拉格朗日函数($\text{lagrangian function}$)：
$$l(x,\lambda ,v)=f_0(x)+\sum _{i=1}^m{\lambda }_i{f}_i(x)+\sum _{i=1}^p{v}_i{h}_i(x)$$
由拉格朗日函数构造的对偶函数($\text{dual function}$)：
$$g(\lambda ,v)=\underset{x\in D}{\inf }l(x,\lambda ,v)$$
其对偶问题为：
$$\begin{array}{rlrl}\max & & g(\lambda ,v)& \\ \text{s.t.}& & \lambda \ge 0& \end{array}$$

例1：线性规划

$$\begin{array}{rlrl}& & \min & c^{T}x\\ (P)& & \text{s.t.}& \text{A}x-b=0\\ & & & x\ge 0\\ & & & \\ \Rightarrow & & l(x,\lambda ,v)& =c^{T}x-{\lambda }^{T}x+v^T(\text{A}x-b)\\ & & & =-b^{T}v+(c+{\text{A}}^{T}v-\lambda {)}^{T}x\\ \Rightarrow & & g(v)& =\underset{x}{\inf }l(x,\lambda ,v)\\ & & & =\{\begin{array}{ll}-b^{T}v& {\text{A}}^{T}v-\lambda +c=0\\ -\infty & \text{otherwise}\end{array}\\ & & & \\ & & \max & -b^{T}x\\ \Rightarrow (D)& & \text{s.t.}& \lambda \ge 0\\ & & & {\text{A}}^{T}v-\lambda +c=0\end{array}$$

个人思考

对偶性是整个凸优化学习的核心，这是我们第一次接触到能给出一个非凸优化问题的最优下界的方法，同时，凸优化问题的对偶也有着良好的性质，需要接下来深入学习。
这里面拉格朗日乘子和之前的多目标优化中的惩罚因子有些相似。

纸质笔记