【优化】拉格朗日对偶性

一、原始问题

• 问题描述:$$\underset{x}{\min }f(x)$$$$\begin{gathered} s.t.h_i(x)=0,i=1,2\dots ,m \\ {g}_j(x)\le 0,j=1,2\dots .,n \end{gathered}$$其中x∈R^d.
• 引入拉格朗日乘子$\lambda =({\lambda }_1,{\lambda }_2,\dots ,{\lambda }_m)$和$\mu =({\mu }_1,{\mu }_2,\dots ,{\mu }_n)$，相应的拉格朗日函数为:$$L(x,\lambda ,\mu )=f(x)+\sum _{i=1}^m{\lambda }_i{h}_i(x)+\sum _{j=1}^n{\mu }_j{g}_j(x)$$其中${\mu }_j\ge 0$
• 首先将拉格朗日函数$L(x,\lambda ,\mu )$看作$\lambda ,\mu$的函数，将$x$看作常数，并且求该函数的最大值，即：$${\theta }_p(x)=\underset{\lambda ,\mu }{\max }L(x,\lambda ,\mu )$$
  • 当$x$不在约束区域内，即存在某个$i$使得$h_i(x)!=0$或者存在某个$j$使得$g_j(x)>0$，那么就有: $${\theta }_p(x)=+\infty$$因为,若某个$i$使约束$h_i(x)!=0$，则可令${\lambda }_i{h}_i(x)\to +\infty$，若某个$j$使$g_j(x)>0$，则可令${\mu }_j\to +\infty$，并将其余各${\lambda }_i,{\mu }_j$均取为0.
  • 当$x$在约束区域内,即$x$满足所有约束条件：$${\theta }_p(x)=f(x)$$
  • 所以最后${\theta }_p(x)$的表示式为：$${\theta }_p(x)=\{\begin{array}{ll}f(x),& x在约束区域内\\ 3n+1,& 其他\end{array}$$
• 现在我们再取${\theta }_p(x)$的最小值：$$\underset{x}{\min }{\theta }_p(x)=\underset{x}{\min }\underset{\lambda ,\mu }{\max }L(x,\lambda ,\mu )$$称为广义拉格朗日函数的极小极大问题，可以看出它与原始问题同解.我们将其总结为：$$\underset{x}{\min }\underset{\lambda ,\mu }{\max }L(x,\lambda ,\mu ))$$$$s.t.{\mu }_j\ge 0,j=1,2\dots .,n$$
• 这样一来，就把原始最优化问题表示为广义拉格朗日函数的极小极大问题.为了方便，定义原始问题的最优值为：$$p^{\ast }=\underset{x}{\min }{\theta }_p(x)$$

二、对偶问题

• 现在我们反向操作一下： 首先我们将拉格朗日函数$L(x,\lambda ,\mu )$看作$x$的函数，将$\lambda ,\mu$看作常数，并且求该函数的最小值，即：$${\theta }_D(\lambda ,\mu )=\underset{x}{\min }L(x,\lambda ,\mu )$$该函数称为对偶函数。
• 再考虑极大化${\theta }_D(\lambda ,\mu )$，即：$$\underset{\lambda ,\mu }{\max }{\theta }_D(\lambda ,\mu )=\underset{\lambda ,\mu }{\max }\underset{x}{\min }L(x,\lambda ,\mu )$$称为广义拉格朗日函数的极大极小问题.表示我为：$$\underset{\lambda ,\mu }{\max }\underset{x}{\min }L(x,\lambda ,\mu ))$$$$s.t.{\mu }_j\ge 0,j=1,2\dots .,n$$称为原始问题的对偶问题。

三、原始问题与对偶问题的关系

• 有上面的推导可知：$${\theta }_D(\lambda ,\mu )=\underset{x}{\min }L(x,\lambda ,\mu )\le L(x,\lambda ,\mu )\le \underset{\lambda ,\mu }{\max }L(x,\lambda ,\mu )={\theta }_p(x)$$即：$${\theta }_D(\lambda ,\mu )\le {\theta }_p(x)$$由此可知函数${\theta }_D(\lambda ,\mu )$是函数${\theta }_p(x)$的下界，并且这个下界${\theta }_D(\lambda ,\mu )$，可能离${\theta }_p(x)$很远(即小很多)，也可能非常接近，这取决于$\lambda ,\mu$的取值。这样可能就产生了一个想法，那就是${\theta }_D(\lambda ,\mu )$的最大值有可能等于${\theta }_p(x)$的最小值，即原始问题可能和对偶问题同解。
• 由于原始问题和对偶问题都有最优解，所以：$$d^{\ast }=\underset{\lambda ,\mu }{\max }{\theta }_D(\lambda ,\mu )\le \underset{x}{\min }{\theta }_p(x)=p^{\ast }$$这个性质便叫做弱对偶性，对于所有优化问题都成立，即使原始问题非凸。当等号成立时叫强对偶性，即强对偶即满足：$$d^{\ast }=p^{\ast }$$
• 强对偶是一个非常好的性质，因为在强对偶成立的情况下，可以通过求解对偶问题来得到原始问题的解，在 SVM 中就是这样做的。当然并不是所有的对偶问题都满足强对偶性 ，在 SVM 中是直接假定了强对偶性的成立，其实只要满足一些条件，强对偶性是成立的，比如说 Slater 条件与KKT条件。
• Slater 条件：假设函数$f(x)$和$g_j(x)$是凸函数，$h_i(x)$是仿射函数；并且假设不等式约束$g_j(x)$是严格可行的，即存在$x$，对所有$j$有$g_j(x)<0$，则存在$x^{\ast },{\lambda }^{\ast },{\mu }^{\ast }$，使$x^{\ast }$是原始问题的解，${\lambda }^{\ast },{\mu }^{\ast }$是对偶问题的解，并且:$$d^{\ast }=p^{\ast }=L(x^{\ast },{\lambda }^{\ast },{\mu }^{\ast })$$也就是说如果原始问题是凸优化问题并且满足 Slater 条件的话，那么强对偶性成立。需要注意的是，这里只是指出了强对偶成立的一种情况，并不是唯一的情况。
• 仿射函数:如果$h_i(w)=ax+b$，$a,x\in R^n,b\in R$ 则$h_i(w)$被为仿射函数，
• KKT条件: 假设函数$f(x)$和$g_j(x)$是凸函数，$h_i(x)$是仿射函数；并且假设不等式约束$g_j(x)$是严格可行的，则$x^{\ast }$和${\lambda }^{\ast },{\mu }^{\ast }$分别是原始问题和对偶问题的解的充分必要条件是$x^{\ast },{\lambda }^{\ast },{\mu }^{\ast }$满足下面的 (KKT) 条件：$$\{\begin{array}{l}\frac{\partial L(x,\lambda ,\mu )}{\partial x}=\nabla f(x)+{\sum }_{i=1}^m{\lambda }_i\nabla h_i(x)+{\sum }_{j=1}^n{\mu }_j\nabla g_j(x)=0\\ g_j(x)\le 0\\ {\mu }_j\ge 0\\ g_j(x){\mu }_j=0\end{array}$$
• 如果对拉格朗日乘子法与KKT条件不熟悉的话可以参考链接：https://blog.youkuaiyun.com/ACM_hades/article/details/90642698