支持向量机(SVM)与其理论发展(2)：对偶学习

支持向量机(SVM)与其理论发展(2)：对偶学习

一 、对偶理论

对偶(dual)这个词在优化理论中是相当常见的，在基础的数学课上我们学过条件极值的拉格朗日乘子法，在初步的运筹学中有线性规划的对偶算法，这里用到的对偶理论具体地称为拉格朗日对偶，就我看来是综合了分析中的拉格朗日乘子与线性对偶的结果。所谓对偶，就是将原问题变形为所谓的对偶问题，从而得到对原问题优化的估计，比如，最优值的下界，并利用某些性质侧面的得到原问题的解。最大熵模型和支持向量机是两个比较常见的利用对偶原理的例子。
下面我们暂时脱离支持向量机的问题，来看一般的拉格朗日对偶理论：
原始问题：

${\min}_{x\in \Re^n}\ \ f_0(x)$
$s.t.\ \ \ \ \ \ \ \ \ f_i(x)\leq0,\ \ \ i=1,2,\cdots,m$
$\ \ \ \ \ \ \ \ \ \ \ \ \ \ \ h_i(x)=0,\ \ \ i=1,2,\cdots,p$

默认所考虑的定义域$D=\bigcap_{i=0}^mf_i(x)\cap\bigcap_{i=1}^ph_i(x)$非空，并且记最优值为$p^*$（不一定可达，相当于取$\inf$，事实上，似乎最优化问题一般不会具体去讨论确界可达性问题）。这里并没有假定任何函数是凸的。
相比较分析学中的条件极值，这里加入了不等式约束，我们仍然构建形式相同的拉格朗日函数：

$L(x,\lambda,\nu)=f_0(x)+\sum_{i=1}^m\lambda_if_i(x)+\sum_{i=1}^p\nu_ih_i(x)$

我们将$\lambda_i$称为第i个不等式约束$f_i(x)\leq0$的Lagrange乘子，$\nu_i$同理称为第i个等式约束$h_i(x)=0$的Lagrange乘子。
接下来引入拉格朗日对偶函数：

$$g(\lambda,\nu)=\inf_{x\in D}L(x,\lambda,\nu)=\inf_{x\in D}\left( f_0(x)+\sum_{i=1}^m\lambda_if_i(x)+\sum_{i=1}^p\nu_ih_i(x)\right)$$

对偶函数其实是拉格朗日函数的逐点下确界，它有一些很有用的性质。

拉格朗日对偶函数的一些性质

• 1.对偶函数在$\lambda\geq0$时构成了原问题最优值$p^*$的下界，也就是$\forall \lambda\geq0,\nu,g(\lambda,\nu)\leq p^*$。
  这是容易证明的，对原始问题的任一可行点$x^*$，我们有
  L(x∗,λ,ν)=f0(x∗)+∑mi=1λifi(x∗)+∑pi=1νihi(x∗)                 =f0(x∗)+∑mi=1λi