拉格朗日对偶

在解约束最优化问题中，利用拉格朗日对偶性将原始问题转化为对偶问题，从而得到原始问题的解。会应用在最大熵模型与支持向量机等模型中。

1.原始问题

原始问题的数学表示

$f(x),c_i(x),h_j(x)$是定义在$R^n$上的连续可微函数。

$$\begin{array}{rl}\underset{x\in R^n}{\min }& f(x)\\ s.t.& c_i(x)⩽0,i=1,2,\cdots ,k\\ & h_j(x)=0,j=1,2,\cdots ,l\end{array}$$

• $f(x)$是目标函数
• $c_i(x)$是不等式约束
• $h_j(x)$是等式约束
• 可行域：自变量x，满足约束范围的取值区域，（即满足：$c_i(x)⩽0,h_j(x)=0$的x取值）
• 求解目标：需要在可行域内求得使目标函数$f(x)$最小的最优解$x^{\ast }$

拉格朗日函数

$$L(x,\alpha ,\beta )=f(x)+\sum _{i=1}^k{\alpha }_i{c}_i(x)+\sum _{j=1}^l{\beta }_j{h}_j(x),{\alpha }_i⩾0$$

其中${\alpha }_i,{\beta }_j$是拉格朗日乘子

拉格朗日函数的极小极大问题(先求得${\alpha }_i,{\beta }_j$的最优解，再求得$x$的最优解)

$$\underset{x}{\min }{\theta }_P(x)=\underset{x}{\min }\underset{\alpha ,\beta ;{\alpha }_i⩾0}{\max }L(x,\alpha ,\beta )$$

推导过程：

• 1)找到使拉格朗日函数$L(x,\alpha ,\beta )$最大化的${\alpha }_i,{\beta }_j$最优解,求得关于x的函数
  $$\begin{array}{rl}{\theta }_P(x)& =\underset{\alpha ,\beta ;{\alpha }_i⩾0}{\max }L(x,\alpha ,\beta )\\ & =\underset{\alpha ,\beta ;{\alpha }_i⩾0}{\max }[f(x)+\sum _{i=1}^k{\alpha }_i{c}_i(x)+\sum _{j=1}^l{\beta }_j{h}_j(x)]\end{array}$$

由于原始问题需要在可行域内求解，此时$c_i(x)⩽0,h_j(x)=0$，且${\alpha }_i⩾0$；当${\alpha }_i{c}_i(x)=0$时，$L(x,\alpha ,\beta )$取值最大，并且
$${\theta }_P(x)=\underset{\alpha ,\beta ;{\alpha }_i⩾0}{\max }L(x,\alpha ,\beta )=f(x),x\in \text{可行域}$$

• 2)那么原始问题转化:

$$\begin{array}{rl}\underset{x\in R^n}{\min }& f(x)\\ s.t.& c_i(x)⩽0,i=1,2,\cdots ,k\\ & h_j(x)=0,j=1,2,\cdots ,l\end{array}$$

等价于:
$$\underset{x}{\min }{\theta }_P(x)=\underset{x}{\min }\underset{\alpha ,\beta ;{\alpha }_i⩾0}{\max }L(x,\alpha ,\beta )$$

设原始问题的最优值为
$$p^{\ast }=\underset{x}{\min }{\theta }_P(x)$$

2.对偶问题

对偶问题的定义

• 先在x的所有取值范围内，求使拉格朗日函数$L(x,\alpha ,\beta )$最小化的x最优解，获得关于$\alpha ,\beta$的函数
  $${\theta }_D(\alpha ,\beta )=\underset{x}{\min }L(x,\alpha ,\beta )$$

• 再在${\alpha }_i⩾0$的范围内，极大化${\theta }_D(\alpha ,\beta )$,求得$\alpha ,\beta$的最优解
  $$\underset{\alpha ,\beta ;{\alpha }_i⩾0}{\max }{\theta }_D(\alpha ,\beta )=\underset{\alpha ,\beta }{\max }\underset{x}{\min }L(x,\alpha ,\beta )$$
  $$s.t.{\alpha }_i⩾0,i=1,2,\cdots ,k$$

• 设对偶问题的最优值为
  $$d^{\ast }=\underset{\alpha ,\beta ;{\alpha }_i⩾0}{\max }{\theta }_D(\alpha ,\beta )$$

3.原始问题和对偶问题的关系

对偶问题最优解$d^{\ast }$是原始问题最优解$p^{\ast }$的下界

证：
$$d^{\ast }=\underset{\alpha ,\beta }{\max }\underset{\text{x的所有取值范围}}{\min }L(x,\alpha ,\beta )⩽\underset{\alpha ,\beta }{\max }\underset{x\in \text{可行域}}{\min }L(x,\alpha ,\beta )⩽\cancel{\underset{\alpha ,\beta }{\max }}\underset{x\in \text{可行域}}{\min }f(x)=p^{\ast }$$

当满足以下条件时，$d^{\ast }=p^{\ast }=L(x^{\ast },{\alpha }^{\ast },{\beta }^{\ast })$，有强对偶性

• 条件：
  • 当原问题为凸优化问题时，即：可行域为凸集，目标函数为凸函数，并求目标函数的最小值。（当不等式约束$c_i(x)$为凸函数；等式约束$h_j(x)$为关于x的线性函数时，可行域为凸集。）
  • slater条件：所有不等式约束构成的x的取值集合的交集有内点。 例如下图，第一个图中两个圆形集合的交集有内点，满足条件；第二个图中两个圆形集合的交集只有一个切点，不满足条件；第三个图中两个半圆集合交集为一条线，不满足条件。

当上述条件满足时存在$x^{\ast },{\alpha }^{\ast },{\beta }^{\ast }$，$x^{\ast }$是原始问题的最优解，${\alpha }^{\ast },{\beta }^{\ast }$是对偶问题的最优解，且$d^{\ast }=p^{\ast }=L(x^{\ast },{\alpha }^{\ast },{\beta }^{\ast })$

• 概念

  • 凸集：在空间的取值集合内任意取两点，这两点连成线段，线段上的任意一点仍然属于这个集合。例如下图的圆形集合是凸集，但不规则图形不是凸集
  
  • 凸函数：在函数上任取两点，两点连线，两点之间的任意x点在线上的取值大于函数值
    

当满足条件有强对偶性时，$x^{\ast },{\alpha }^{\ast },{\beta }^{\ast }$最优解满足KKT条件

$$\begin{array}{rl}{\nabla }_{x}L(x^{\ast },{\alpha }^{\ast },{\beta }^{\ast })=0& \\ {\nabla }_{\alpha }L(x^{\ast },{\alpha }^{\ast },{\beta }^{\ast })=0& \\ {\nabla }_{\beta }L(x^{\ast },{\alpha }^{\ast },{\beta }^{\ast })=0& \\ {\alpha }_i^{\ast }{c}_i(x^{\ast })=0,& i=1,2,\cdots ,k\\ c_i(x^{\ast })⩽0,& i=1,2,\cdots ,k\\ {\alpha }_i^{\ast }⩾0,& i=1,2,\cdots ,k\\ h_j(x^{\ast })=0,& j=1,2,\cdots ,j\end{array}$$
其中${\alpha }_i^{\ast }{c}_i(x^{\ast })=0$是互补松弛条件，即当${\alpha }_i^{\ast }>0$时，$c_i(x^{\ast })=0$