SVM支持向量机原理(四)SMO算法原理

转自http://www.cnblogs.com/pinard/p/6111471.html

在SVM的前三篇里，我们优化的目标函数最终都是一个关于α α向量的函数。而怎么极小化这个函数，求出对应的α α向量，进而求出分离超平面我们没有讲。本篇就对优化这个关于α α向量的函数的SMO算法做一个总结。

1. 回顾SVM优化目标函数

　　　　我们首先回顾下我们的优化目标函数：

min        α 12 ∑ i=1,j=1 m α i α j y i y j K(x i ,x j )−∑ i=1 m α i  

s.t.∑ i=1 m α i y i =0 

0≤α i ≤C 

　　　　我们的解要满足的KKT条件的对偶互补条件为：

α ∗ i (y i (w ∗ ∙ϕ(x i )+b ∗ )−1)=0 

　　　　根据这个KKT条件的对偶互补条件，我们有：

α ∗ i =0⇒y i (w ∗ ∙ϕ(x i )+b)≥1 

0≤α ∗ i ≤C⇒y i (w ∗ ∙ϕ(x i )+b)=1 

α ∗ i =C⇒y i (w ∗ ∙ϕ(x i )+b)≤1 

　　　　 由于w ∗ =∑ j=1 m α ∗ j y j ϕ(x j ) ,我们令g(x)=w ∗ ∙ϕ(x)+b=∑ j=1 m α ∗ j y j K(x,x j )+b ∗  ，则有：

α ∗ i =0⇒y i g(x i )≥1 

0≤α ∗ i ≤C⇒y i g(x i )=1 

α ∗ i =C⇒y i g(x i )≤1 

2. SMO算法的基本思想

　　　　上面这个优化式子比较复杂，里面有m个变量组成的向量α 需要在目标函数极小化的时候求出。直接优化时很难的。SMO算法则采用了一种启发式的方法。它每次只优化两个变量，将其他的变量都视为常数。由于∑ i=1 m α i y i =0 .假如将α 3 ,α 4 ,...,α m  　   固定，那么α 1 ,α 2  之间的关系也确定了。这样SMO算法将一个复杂的优化算法转化为一个比较简单的两变量优化问题。

　　　　为了后面表示方便，我们定义K ij =ϕ(x i )∙ϕ(x j ) 

　　　　由于α 3 ,α 4 ,...,α m          都成了常量，所有的常量我们都从目标函数去除，这样我们上一节的目标优化函数变成下式：

min        α 1 ,α 1  12 K 11 α 2 1 +12 K 22 α 2 2 +y 1 y 2 K 12 α 1 α 2 −(α 1 +α 2 )+y 1 α 1 ∑ i=3 m y i α i K i1 +y 2 α 2 ∑ i=3 m y i α i K i2  

s.t.α 1 y 1 +α 2 y 2 =−∑ i=3 m y i α i =ς 

0≤α i ≤Ci=1,2 

3. SMO算法目标函数的优化

　　　　为了求解上面含有这两个变量的目标优化问题，我们首先分析约束条件，所有的α 1 ,α 2  都要满足约束条件，然后在约束条件下求最小。

　　　　根据上面的约束条件α 1 y 1 +α 2 y 2 =ς0≤α i ≤Ci=1,2 ，又由于y 1 ,y 2  均只能取值1或者-1, 这样α 1 ,α 2  在[0,C]和[0,C]形成的盒子里面，并且两者的关系直线的斜率只能为1或者-1，也就是说α 1 ,α 2  的关系直线平行于[0,C]和[0,C]形成的盒子的对角线，如下图所示：

 　　　　由于α 1 ,α 2  的关系被限制在盒子里的一条线段上，所以两变量的优化问题实际上仅仅是一个变量的优化问题。不妨我们假设最终是α 2  的优化问题。由于我们采用的是启发式的迭代法，假设我们上一轮迭代得到的解是α old 1 ,α old 2  ，假设沿着约束方向α 2  未经剪辑的解是α new,unc 2  .本轮迭代完成后的解为α new 1 ,α new 2  

　　　　由于α new 2  必须满足上图中的线段约束。假设L和H分别是上图中α new 2  所在的线段的边界。那么很显然我们有：

L≤α new 2 ≤H 

　　　　而对于L和H，我们也有限制条件如果是上面左图中的情况，则

L=max(0,α old 2 −α old 1 )H=min(C,C+α old 2 −α old 1 ) 

　　　　如果是上面右图中的情况，我们有：

L=max(0,α old 2 +α old 1 −C)H=min(C,α old 2 +α old 1 ) 

 　　　　也就是说，假如我们通过求导得到的α new,unc 2  ，则最终的α new 2  应该为：

α new 2 =⎧ ⎩ ⎨ ⎪ ⎪ Hα new,unc 2 L L≤α new,unc 2 >HL≤α new,unc 2 ≤Hα new,unc 2 <L  

　　　

　　　　那么如何求出α new,unc 2  呢？很简单，我们只需要将目标函数对α 2  求偏导数即可。

　　　　首先我们整理下我们的目标函数。

　　　　为了简化叙述，我们令

E i =g(x i )−y i =∑ j=1 m α ∗ j y j K(x i ,x j )+b−y i  

，

　　　　其中g(x) 就是我们在第一节里面的提到的

g(x)=w ∗ ∙ϕ(x)+b=∑ j=1 m α ∗ j y j K(x,x j )+b ∗  

　　　　我们令

v i =∑ i=3 m y j α j K(x i ,x j )=g(x i )−∑ i=1 2 y j α j K(x i ,x j )−b 

　　　　这样我们的优化目标函数进一步简化为：

W(α 1 ,α 2 )=12 K 11 α 2 1 +12 K 22 α 2 2 +y 1 y 2 K 12 α 1 α 2 −(α 1 +α 2 )+y 1 α 1 v 1 +y 2 α 2 v 2  

　　　　由于α 1 y 1 +α 2 y 2 =ς ，并且y 2 i =1 ，可以得到α 1 用α 2  表达的式子为：

α 1 =y 1 (ς−α 2 y 2 ) 

　　　　将上式带入我们的目标优化函数，就可以消除α 1  ,得到仅仅包含α 2  的式子。

W(α 2 )=12 K 11 (ς−α 2 y 2 ) 2 +12 K 22 α 2 2 +y 2 K 12 (ς−α 2 y 2 )α 2 −(α 1 +α 2 )+(ς−α 2 y 2 )v 1 +y 2 α 2 v 2  

　　　　忙了半天，我们终于可以开始求α new,unc 2  了，现在我们开始通过求偏导数来得到α new,unc 2  。

∂W∂α 2  =K 11 α 2 +K 22 α 2 −2K 12 α 2 −K 11 ςy 2 +K 12 ςy 2 +y 1 y 2 −1−v 1 y 2 +y 2 v 2 =0 

　　　　整理上式有：

(K 11 +K 22 −2K 12 )α 2 =y 2 (y 2 −y 1 +ςK 11 −ςK 12 +v 1 −v 2 ) 

=y 2 (y 2 −y 1 +ςK 11 −ςK 12 +(g(x 1 )−∑ j=1 2 y j α j K 1j −b)−(g(x 2 )−∑ j=1 2 y j α j K 2j −b)) 

　　　　将ς=α 1 y 1 +α 2 y 2  带入上式，我们有：

(K 11 +K 22 −2K 12 )α new,unc 2 =y 2 ((K 11 +K 22 −2K 12 )α old 2 y 2 +y 2 −y 1 +g(x 1 )−g(x 2 )) 

=(K 11 +K 22 −2K 12 )α old 2 +y2(E 1 −E 2 ) 

　　　　我们终于得到了α new,unc 2  的表达式：

α new,unc 2 =α old 2 +y2(E 1 −E 2 )K 11 +K 22 −2K 12 )  

　　　　利用上面讲到的α new,unc 2  和α new 2  的关系式，我们就可以得到我们新的α new 2  了。利用α new 2  和α new 1  的线性关系，我们也可以得到新的α new 1  。

4. SMO算法两个变量的选择

　　　　SMO算法需要选择合适的两个变量做迭代，其余的变量做常量来进行优化，那么怎么选择这两个变量呢？

4.1 第一个变量的选择

　　　　SMO算法称选择第一个变量为外层循环，这个变量需要选择在训练集中违反KKT条件最严重的样本点。对于每个样本点，要满足的KKT条件我们在第一节已经讲到了： 

α ∗ i =0⇒y i g(x i )≥1 

0≤α ∗ i ≤C⇒y i g(x i )=1 

α ∗ i =C⇒y i g(x i )≤1 

　　　　一般来说，我们首先选择违反0≤α ∗ i ≤C⇒y i g(x i )=1 这个条件的点。如果这些支持向量都满足KKT条件，再选择违反α ∗ i =0⇒y i g(x i )≥1  和 α ∗ i =C⇒y i g(x i )≤1 的点。

4.2 第二个变量的选择

 　　　　SMO算法称选择第二一个变量为内层循环，假设我们在外层循环已经找到了α 1  , 第二个变量α 2  的选择标准是让|E1−E2| 有足够大的变化。由于α 1  定了的时候,E 1  也确定了，所以要想|E1−E2| 最大，只需要在E 1  为正时，选择最小的E i  作为E 2  ， 在E 1  为负时，选择最大的E i  作为E 2  ，可以将所有的E i  保存下来加快迭代。

　　　　如果内存循环找到的点不能让目标函数有足够的下降， 可以采用遍历支持向量点来做α 2  ,直到目标函数有足够的下降， 如果所有的支持向量做α 2  都不能让目标函数有足够的下降，可以跳出循环，重新选择α 1  　

4.3 计算阈值b和差值E i  　

　　　　在每次完成两个变量的优化之后，需要重新计算阈值b。当0≤α new 1 ≤C   时，我们有

y 1 −∑ i=1 m α i y i K i1 −b 1 =0 

　　　　于是新的b new 1  为：

b new 1 =y 1 −∑ i=3 m α i y i K i1 −α new 1 y 1 K 11 −α new 2 y 2 K 21  

　　　　计算出E 1  为：

E 1 =g(x 1 )−y 1 =∑ i=3 m α i y i K i1 +α old 1 y 1 K 11 +α old 2 y 2 K 21 +b old −y 1  

　　　　可以看到上两式都有y 1 −∑ i=3 m α i y i K i1  ，因此可以将b new 1  用E 1  表示为：

b new 1 =−E 1 −y 1 K 11 (α new 1 −α old 1 )−y 2 K 21 (α new 2 −α old 2 )+b old  

　　　　同样的，如果0≤α new 2 ≤C , 那么有：

b new 2 =−E 2 −y 1 K 12 (α new 1 −α old 1 )−y 2 K 22 (α new 2 −α old 2 )+b old  

　　　　最终的b new  为：

b new =b new 1 +b new 2 2  

　　　　得到了b new  我们需要更新E i  :

E i =∑ S y j α j K(x i ,x j )+b new −y i  

　　　　其中，S是所有支持向量x j  的集合。

　　　　好了，SMO算法基本讲完了，我们来归纳下SMO算法。

5. SMO算法总结

　　　　输入是m个样本(x 1 ,y 1 ),(x 2 ,y 2 ),...,(x m ,y m ), ,                其中x为n维特征向量。y为二元输出，值为1，或者-1.精度e。

　　　　输出是近似解α 

　　　　1)取初值α 0 =0,k=0 

　　　　2)按照4.1节的方法选择α k 1  ,接着按照4.2节的方法选择α k 2  ，求出新的α new,unc 2  。

α new,unc 2 =α k 2 +y 2 (E 1 −E 2 )K 11 +K 22 −2K 12 )  

　　　　3)按照下式求出α k+1 2  

α k+1 2 =⎧ ⎩ ⎨ ⎪ ⎪ Hα new,unc 2 L L≤α new,unc 2 >HL≤α new,unc 2 ≤Hα new,unc 2 <L  

　　　　4)利用α k+1 2  和α k+1 1  的关系求出α k+1 1  

　　　　5)按照4.3节的方法计算b k+1  和E i  

　　　　6）在精度e范围内检查是否满足如下的终止条件：

∑ i=1 m α i y i =0 

0≤α i ≤C,i=1,2...m 

α k+1 i =0⇒y i g(x i )≥1 

0≤α k+1 i ≤C⇒y i g(x i )=1 

α k+1 i =C⇒y i g(x i )≤1 

　　　　7)如果满足则结束，返回α k+1  ,否则转到步骤2）。

 

　　　　SMO算法终于写完了，这块在以前学的时候是非常痛苦的，不过弄明白就豁然开朗了。希望大家也是一样。写完这一篇， SVM系列就只剩下支持向量回归了，胜利在望！