【机器学习】支持向量机(三)----拉格朗日对偶性与对偶问题

上一篇，讲的是硬间隔最大化和软间隔最大化的原始学习问题，回顾一下。
1.硬间隔最大化(线性可分支持向量机)学习算法
原始问题：
　　　$\min\limits_{ω^T,b}\frac{1}{2}||ω||^2$
s.t.　　$y_i(ω^Tx_i+b)-1\ge0$

2.软间隔最大化(线性支持向量机)学习算法
原始问题：
　　　$\min\limits_{ω^T,b,ξ}\frac{1}{2}||ω||^2+C\sum\limits_{n=1}^N ξ_i$
s.t.　　$y_i(ω^Tx_i+b)\ge1-ξ_i$　　(i=1,2,..,N)
s.t.　　$ξ_i\ge0$　　　　　　　　　(i=1,2,..,N)

由于约束项的存在，对于这些原始问题的求解变得复杂起来，回忆起高中那时有一类不等式题，求解的思路就是用的拉格朗日乘数法，将那些约束项和待求项合在一起组成一个式子来求解，这个就有点像我们要用的方法。
因此，在这里，我们可以利用拉格朗日对偶性，通过求解对偶问题得到原始问题的最优解，这就是支持向量机的对偶算法。其优点有二：一、对偶问题往往更容易求解；二、自然地引入核函数，进而推广到非线性分类问题。

【原始问题】

首先我们来看看原始问题的形式(来自统计学习方法附录C)
假设$f(x)$,$c_i(x)$,$h_j(x)$是定义在$R^n$上的连续可微函数.考虑约束最优化问题：
　　　$\min\limits_{x\in R^n}f(x)$
s.t.　　$c_i(x)\le0$　　　(i=1,2,…,k)
s.t.　　$h_j(x)=0$　　　(j=1,2,…,s)
这个问题就被称为原始最优化问题或原始问题

【拉格朗日乘数】

引入拉格朗日乘数$L(x,\alpha,\beta)=f(x)+\sum\limits_{i=1}^k \alpha_ic_i(x)+\sum\limits_{j=1}^s \beta_jh_j(x)$
这里$\alpha_i$,$\beta_j$是拉格朗日乘子，$\alpha_i\ge0$
又到了重头戏时间，上图：

为什么要这要设计呢，原始问题的约束项在这个式子中如何体现呢？那么我们就来看看$θ_p(x)=\max\limits_{\alpha,\beta:\alpha_i\ge0}L(x,\alpha,\beta)=f(x)+\sum\limits_{i=1}^k \alpha_ic_i(x)+\sum\limits_{j=1}^s \beta_jh_j(x)$这个式子是否能满足原始问题的那两个约束条件吧。
接着上图：

诶嘿，真是一个美妙的变化。不过为什么

$θ_p(x)=\begin{cases}f(x), & \text{x满足原始条件约束} \\[2ex]+\infty, & \text{其他}\end{cases}$
其实当x满足原始条件约束时(即$c_i(x)\le0$，$h_j(x)=0$)
$θ_p(x)$就会变成$\max\limits_{\alpha,\beta:\alpha_i\ge0}L(x,\alpha,\beta)=f(x)+负数乘上\alpha_i$，为了使$L(x,\alpha,\beta)$最大，由于$\alpha_i\ge0$，只有$\alpha_i$取0的时候才能使其最大，这样就得出$θ_p(x)=\max\limits_{\alpha,\beta:\alpha_i\ge0}L(x,\alpha,\beta)=f(x)$了
这样，原本三行式子的原始问题就被转化成了$\min\limits_{x}θ_p(x)=\min\limits_{x}\max\limits_{\alpha,\beta:\alpha_i\ge0}L(x,\alpha,\beta)$
被称为广义拉格朗日函数的极小极大问题

【对偶问题】

定义$θ_D(\alpha,\beta)=\min\limits_{x}L(x,\alpha,\beta)$，再考虑极大化$θ_D(\alpha,\beta)$
即$\max\limits_{\alpha,\beta:\alpha_i\ge0}θ_D(\alpha,\beta)=\max\limits_{\alpha,\beta:\alpha_i\ge0}\min\limits_{x}L(x,\alpha,\beta)$
这个被称为广义拉格朗日函数的极大极小问题，我们给它换个形式，把$\alpha_i\ge0$给提出来做约束项，就可以写成这样：
　　　　maxα,β