这次一定要弄懂-SVM-3-Hard Margin SVM的对偶问题的求解（SMO算法）

前面我们针对Hard Margin SVM推导了他的原问题：
$$\underset{\omega }{\min }\frac{||\omega |{|}^2}{2}$$ $s.t.$ $$y^{(i)}({\omega }^T{\mathbf{x}}^{(\mathbf{i})}+b)⩾1\text{i=1,2,...m}$$


对应的对偶问题：
$\underset{\alpha }{\min }\frac{1}{2}\sum _{i=1}^m\sum _{j=1}^m{\alpha }_i{\alpha }_j{y}_i{y}_j{x}^{(i)}\cdot x^{(j)}-\sum _{i=1}^m{\alpha }_i$

$s.t.$
$${\alpha }_i⩾0i=1,2,...,m$$$$\sum _{i=1}^m{\alpha }_i{y}_i=0$$

以及决策边界中未知量w的计算方法：
$$w=\sum _{i=1}^m{\alpha }_i{y}^{(i)}{x}^{(i)}$$

那决策边界中的未知量b如何计算呢？就要用了KKT条件，同时用于求解对偶问题的SMO算法也要应用到KKT条件，所以这一次的内容从KKT条件开始。

3-1 KKT条件

我们说广义拉格朗日乘子函数的构造是从原本只能解决带等式约束的拉格朗日乘数法推广而来，所以我们先从最原始的拉格朗日乘数法的求解开始过程开始。

3-1-1 从拉格朗日乘数法的求解过程说起

拉格朗日乘数法是求解带有等式约束的最优化问题

$\underset{x}{\min }f(x)$
$h_i(x)=0,i=1,2,...,p$

对应的求解方法就是构造拉格朗日乘子函数
$L(x,\lambda )=f(x)+\sum _{i=1}^p{\lambda }_i{h}_i(x)$

接着对原始的优化变量以及乘子变量求导，并令导数为0，即：
$$\{\begin{array}{l}{\nabla }_{x}f+\sum _{i=1}^p{\lambda }_i{\nabla }_x{h}_i(x)=0\\ h_i(x)=0,i=1,2,...,p\end{array}$$

解这个方程组就可以找到极值点，但目前只是把疑似极值点求出来了，至于是不是极值点，是极大还是极小点，还需要进一步判定。

所以上面的方程组只是取得极值的必要条件，而不是充分条件。

3-1-2 推广出KKT条件

针对既带有等式约束和不等式约束的优化问题，我们可以构造广义拉格朗日函数

$\underset{x}{\min }f(x)$
$g_i(x)⩽0,i=1,2,...q$
$h_i(x)=0,i=1,2,...p$

构造拉格朗日乘子函数
$L(x,\lambda ,\mu )=f(x)+\sum _{i=1}^p{\lambda }_i{h}_i(x)+\sum _{j=1}^q{\mu }_j{g}_j(x)$

设极值点为$x^{\ast }$
在极值点出必须要满足：

1.原问题的约束条件	$g_i(x^{\ast })⩽0,i=1,2,...q$ $h_i(x^{\ast })=0,i=1,2,...p$
2.对偶问题的约束条件	${\mu }_i⩾0,i=1,2,...q$
3.松弛互补条件	${\mu }_i{g}_i(x^{\ast })=0,i=1,2,...q$
4.X同时是拉格朗日函数的极小点 ${\nabla }_{x}L(x^{\ast },\lambda ,\mu )=0$	${\nabla }_{x}f(x^{\ast })+\sum _{i=1}^p{\lambda }_i{\nabla }_x{h}_i(x^{\ast })+\sum _{j=1}^q{\mu }_j{\nabla }_x{g}_j(x^{\ast })=0$

再次详细说明下其中的松弛互补条件：
根据${\mu }_i{g}_i(x^{\ast })=0,i=1,2,...q$
我们会发现
当$\mu >0$时，$g_i(x^{\ast })=0$。说明极值点在边界处取得。
当$\mu =0$时，$g_i(x^{\ast })⩽0$。说明这个不等式约束对函数没有影响。

以上四条就是KKT条件，它是对原问题最优解的约束，是最优解的必要条件。
但是如果原问题和对偶问题存在强对偶问题，则KKT条件就是取得极值的充要条件。

而我们的支持向量机的原问题不管是线性可分的还是不可分，即使加上后面的核函数，都是强对偶问题。使得我们可以使用KKT条件，得到极值点的一些特征。

3-1-3 KKT条件用于原问题

原问题：
$$\underset{\omega }{\min }\frac{||\omega |{|}^2}{2}$$$s.t.$$$y^{(i)}({\omega }^T{\mathbf{x}}^{(\mathbf{i})}+b)⩾1\text{i=1,2,...m}$$

根据KKT条件中的松弛互补条件（对于不等式约束，乘子变量*函数值=0）
${\alpha }_i(y_i(w^T{x}^{(i)}+b)-1)=0,i=1,2,...m$

我们仔细分析下松弛互补条件：
当${\alpha }_i>0$时，$y_i(w^T{x}^{(i)}+b)=1$ —>支撑向量
当${\alpha }_i=0$时，$y_i(w^T{x}^{(i)}+b)⩾1$—>自由变量，对分类超平面不起作用

3-1-4 KKT条件的作用：

1. SMO算法选择优化变量
   SMO算法是用于求解之后对偶问题的算法，它是一个迭代算法，每次仅选取两个乘子变量进行优化。KKT条件可以帮助我们寻找出需要优化的乘子变量。
2. 迭代终止的判定规则
   因为对于支持向量机来说KKT条件是极值点的充分必要条件，所以如果在迭代过程中发现待求点已经满足KKT条件了，那我们就把极值点解出来了，无须继续迭代。

3-1-5 决策边界中b的计算：

我们通过将原问题转化为拉格朗日对偶问题，使得最优化的变量从原本的w,b转换为拉格朗日乘子变量$\alpha$

如果我们可以求得使得对偶问题最优的$\alpha$后。则决策边界中的w可以通过$w=\sum _{i=1}^m{\alpha }_i{y}_i{x}^{(i)}$求得

而决策边界中b通过松弛互补条件求得。
前面说到，对于最优点来说，当${\alpha }_i>0$时，$y_i(w^T{x}^{(i)}+b)=1$。
所以我们只需要到${\alpha }_i>0$对应的样本，求得b。

理论上来说，任意符合${\alpha }_i>0$的样本，都可以用来计算b的值，但由于计算有误差，一般为了减小误差，会用所有满足${\alpha }_i>0$的样本计算b，再取均值。

3-2 SMO算法

3-2-1 我们现在面临的棘手问题

前面讲到了对偶问题，让我们再看下推导得到的对偶问题

$\underset{\alpha }{\min }\frac{1}{2}\sum _{i=1}^m\sum _{j=1}^m{\alpha }_i{\alpha }_j{y}_i{y}_j{x}^{(i)}\cdot x^{(j)}-\sum _{i=1}^m{\alpha }_i$

$s.t.$
$${\alpha }_i⩾0i=1,2,...,m$$$$\sum _{i=1}^m{\alpha }_i{y}_i=0$$

为了方便之后进一步的推导，我们将对偶问题写成向量化的形式

$$\underset{\alpha }{\min }\frac{1}{2}{\alpha }^{T}Q\alpha -e^T\alpha$$

$s.t.$
$$y^T\alpha =0$$$${\alpha }_i⩾0,i=1,2,...,m$$

其中
矩阵$Q_{ij}=y_i{y}_j{x}^{(i)}\cdot x^{(j)}$
向量$e^T=[1,1,...,1]$

关于从$\sum _{j=1}^m{\alpha }_i{\alpha }_j{y}_i{y}_j{x}^{(i)}\cdot x^{(j)}$到${\alpha }^{T}Q\alpha$
应用了二次型展开。

这部分我不是熟悉，只依稀记得一个例子
$$x^2+y^2+z^2=\left[\begin{array}{ccc}x& y& z\end{array}\right]\left[\begin{array}{ccc}1& 0& 0\\ 0& 1& 0\\ 0& 0& 1\end{array}\right]\left[\begin{array}{c}x\\ y\\ z\end{array}\right]$$
中间的矩阵对应的是原本的系数，所以Q本质上就是${\alpha }_i{\alpha }_j$的系数矩阵

这是一个大规模的二次函数的最优化问题，由于本身是凸优化问题，所以一些经典的最优化算法（如牛顿法，梯度下降法）可以收敛到极值点处。

但棘手的是还存在着等式约束和不等式约束，所以需要更好的求解算法，那就是SMO算法（序列最小最优化算法）

从SVM提出，到SMO算法提出之前，SVM并没有广泛使用就是因为这个对偶问题的求解非常麻烦。

3-2-2 破解对偶问题的神器SMO算法

SMO算法（Sequential minimal optimization）序列最小最优算法的核心思想是分治法（把一个大问题拆解成很多子问题来求解，然后把解合并起来，形成大问题的解）

SMO算法的巧妙之处在于每次选取两个变量进行优化。为什么不只选出一个变量进行优化呢？

因为我们有一个等式约束$\sum _{i=1}^m{\alpha }_i{y}_i=0$,如果只有一个$\alpha$变化的话，就会破坏原来的等式约束。

因此只调整一个变量是不行的，最少要调整2个变量。

根据这个想法，就可以把原来的m元2次问题转化成2元2次问题。

而对于2元2次函数的极值问题的求解就是初中内容了，可以通过等式约束，消掉一个变量，变成一元二次函数求极值的问题。

一元二次函数就是一个抛物线，但因为有$\alpha ⩾0$的限定条件，所以我们需要根据这个情况来进行极值的讨论。

3-2-3 SMO算法的理论推导

3-2-3-1 定义一些变量

之后原来代换的变量也写在这边，方便查看

定义矩阵Q	$Q_i$