支持向量机原理(四)SMO算法原理

最新推荐文章于 2024-03-02 12:11:20 发布

Catherine_985

最新推荐文章于 2024-03-02 12:11:20 发布

阅读量409

点赞数

分类专栏：机器学习

机器学习专栏收录该内容

37 篇文章

订阅专栏

支持向量机原理(一) 线性支持向量机

　　　　支持向量机原理(二) 线性支持向量机的软间隔最大化模型

　　　　支持向量机原理(三)线性不可分支持向量机与核函数

　　　　支持向量机原理(四)SMO算法原理

　　　　支持向量机原理(五)线性支持回归

　　在SVM的前三篇里，我们优化的目标函数最终都是一个关于 α 向量的函数。而怎么极小化这个函数，求出对应的 α 向量，进而求出分离超平面我们没有讲。本篇就对优化这个关于 α 向量的函数的SMO算法做一个总结。

1. 回顾SVM优化目标函数

　　　　我们首先回顾下我们的优化目标函数：

m i n      α 1 2 \sum i = 1, j = 1 m α i α j y i y j K (x i, x j) - \sum i = 1 m α i

s . t . \sum i = 1 m α i y i = 0

0 \leq α i \leq C

　　　　我们的解要满足的KKT条件的对偶互补条件为：

α * i (y i (w * ∙ ϕ (x i) + b *) - 1) = 0

　　　　根据这个KKT条件的对偶互补条件，我们有：

α * i = 0 \Rightarrow y i (w * ∙ ϕ (x i) + b) \geq 1

0 \leq α * i \leq C \Rightarrow y i (w * ∙ ϕ (x i) + b) = 1

α * i = C \Rightarrow y i (w * ∙ ϕ (x i) + b) \leq 1

　　　　由于 w∗=∑j=1mα∗jyjϕ(xj) ,我们令 g(x)=w∗∙ϕ(x)+b=∑j=1mα∗jyjK(x,xj)+b∗ ，则有：

α * i = 0 \Rightarrow y i g (x i) \geq 1

0 \leq α * i \leq C \Rightarrow y i g (x i) = 1

α * i = C \Rightarrow y i g (x i) \leq 1

2. SMO算法的基本思想

　　　　上面这个优化式子比较复杂，里面有m个变量组成的向量 α 需要在目标函数极小化的时候求出。直接优化时很难的。SMO算法则采用了一种启发式的方法。它每次只优化两个变量，将其他的变量都视为常数。由于 ∑i=1mαiyi=0 .假如将 α3,α4,...,αm 　固定，那么 α1,α2 之间的关系也确定了。这样SMO算法将一个复杂的优化算法转化为一个比较简单的两变量优化问题。

　　　　为了后面表示方便，我们定义 Kij=ϕ(xi)∙ϕ(xj)

　　　　由于 α3,α4,...,αm 都成了常量，所有的常量我们都从目标函数去除，这样我们上一节的目标优化函数变成下式：

m i n      α 1, α 1 1 2 K 11 α 21 + 1 2 K 22 α 22 + y 1 y 2 K 12 α 1 α 2 - (α 1 + α 2) + y 1 α 1 \sum i = 3 m y i α i K i 1 + y 2 α 2 \sum i = 3 m y i α i K i 2

s . t . α 1 y 1 + α 2 y 2 = - \sum i = 3 m y i α i = ς

0 \leq α i \leq C i = 1, 2

3. SMO算法目标函数的优化

　　　　为了求解上面含有这两个变量的目标优化问题，我们首先分析约束条件，所有的 α1,α2 都要满足约束条件，然后在约束条件下求最小。

　　　　根据上面的约束条件 α1y1+α2y2=ς0≤αi≤Ci=1,2 ，又由于 y1,y2 均只能取值1或者-1, 这样 α1,α2 在[0,C]和[0,C]形成的盒子里面，并且两者的关系直线的斜率只能为1或者-1，也就是说 α1,α2 的关系直线平行于[0,C]和[0,C]形成的盒子的对角线，如下图所示：

　　　　由于 α1,α2 的关系被限制在盒子里的一条线段上，所以两变量的优化问题实际上仅仅是一个变量的优化问题。不妨我们假设最终是 α2 的优化问题。由于我们采用的是启发式的迭代法，假设我们上一轮迭代得到的解是 αold1,αold2 ，假设沿着约束方向 α2 未经剪辑的解是 αnew,unc2 .本轮迭代完成后的解为 αnew1,αnew2

　　　　由于 αnew2 必须满足上图中的线段约束。假设L和H分别是上图中 αnew2 所在的线段的边界。那么很显然我们有：

L \leq α n e w 2 \leq H

　　　　而对于L和H，我们也有限制条件如果是上面左图中的情况，则

L = m a x (0, α o l d 2 - α o l d 1) H = m i n (C, C + α o l d 2 - α o l d 1)

　　　　如果是上面右图中的情况，我们有：

L = m a x (0, α o l d 2 + α o l d 1 - C) H = m i n (C, α o l d 2 + α o l d 1)

　　　　也就是说，假如我们通过求导得到的 αnew,unc2 ，则最终的 αnew2 应该为：

α n e w 2 = ⎧ ⎩ ⎨ ⎪ ⎪ H α n e w, u n c 2 L L \leq α n e w, u n c 2 > H L \leq α n e w, u n c 2 \leq H α n e w, u n c 2 < L

　　　　那么如何求出 αnew,unc2 呢？很简单，我们只需要将目标函数对 α2 求偏导数即可。

　　　　首先我们整理下我们的目标函数。

　　　　为了简化叙述，我们令

E i = g (x i) - y i = \sum j = 1 m α * j y j K (x i, x j) + b - y i

，

　　　　其中 g(x) 就是我们在第一节里面的提到的

g (x) = w * ∙ ϕ (x) + b = \sum j = 1 m α * j y j K (x, x j) + b *

　　　　我们令

v i = \sum i = 3 m y j α j K (x i, x j) = g (x i) - \sum i = 1 2 y j α j K (x i, x j) - b

　　　　这样我们的优化目标函数进一步简化为：

W (α 1, α 2) = 1 2 K 11 α 21 + 1 2 K 22 α 22 + y 1 y 2 K 12 α 1 α 2 - (α 1 + α 2) + y 1 α 1 v 1 + y 2 α 2 v 2

　　　　由于 α1y1+α2y2=ς ，并且 y2i=1 ，可以得到 α1用α2 表达的式子为：

α 1 = y 1 (ς - α 2 y 2)

　　　　将上式带入我们的目标优化函数，就可以消除 α1 ,得到仅仅包含 α2 的式子。

W (α 2) = 1 2 K 11 (ς - α 2 y 2) 2 + 1 2 K 22 α 22 + y 2 K 12 (ς - α 2 y 2) α 2 - (α 1 + α 2) + (ς - α 2 y 2) v 1 + y 2 α 2 v 2

　　　　忙了半天，我们终于可以开始求 αnew,unc2 了，现在我们开始通过求偏导数来得到 αnew,unc2 。

\partial W \partial α 2 = K 11 α 2 + K 22 α 2 - 2 K 12 α 2 - K 11 ς y 2 + K 12 ς y 2 + y 1 y 2 - 1 - v 1 y 2 + y 2 v 2 = 0

　　　　整理上式有：

(K 11 + K 22 - 2 K 12) α 2 = y 2 (y 2 - y 1 + ς K 11 - ς K 12 + v 1 - v 2)

= y 2 (y 2 - y 1 + ς K 11 - ς K 12 + (g (x 1) - \sum j = 1 2 y j α j K 1 j - b) - (g (x 2) - \sum j = 1 2 y j α j K 2 j - b))

　　　　将 ς=α1y1+α2y2 带入上式，我们有：

(K 11 + K 22 - 2 K 12) α n e w, u n c 2 = y 2 ((K 11 + K 22 - 2 K 12) α o l d 2 y 2 + y 2 - y 1 + g (x 1) - g (x 2))

= (K 11 + K 22 - 2 K 12) α o l d 2 + y 2 (E 1 - E 2)

　　　　我们终于得到了 αnew,unc2 的表达式：

α n e w, u n c 2 = α o l d 2 + y 2 ( E 1 - E 2 ) K 11 + K 22 - 2 K 12 )

　　　　利用上面讲到的 αnew,unc2 和 αnew2 的关系式，我们就可以得到我们新的 αnew2 了。利用 αnew2 和 αnew1 的线性关系，我们也可以得到新的 αnew1 。

4. SMO算法两个变量的选择

　　　　SMO算法需要选择合适的两个变量做迭代，其余的变量做常量来进行优化，那么怎么选择这两个变量呢？

4.1 第一个变量的选择

　　　　SMO算法称选择第一个变量为外层循环，这个变量需要选择在训练集中违反KKT条件最严重的样本点。对于每个样本点，要满足的KKT条件我们在第一节已经讲到了：

α * i = 0 \Rightarrow y i g (x i) \geq 1

0 \leq α * i \leq C \Rightarrow y i g (x i) = 1

α * i = C \Rightarrow y i g (x i) \leq 1

　　　　一般来说，我们首先选择违反 0≤α∗i≤C⇒yig(xi)=1 这个条件的点。如果这些支持向量都满足KKT条件，再选择违反 α∗i=0⇒yig(xi)≥1 和 α∗i=C⇒yig(xi)≤1 的点。

4.2 第二个变量的选择

　　　　SMO算法称选择第二一个变量为内层循环，假设我们在外层循环已经找到了 α1 , 第二个变量 α2 的选择标准是让 |E1−E2| 有足够大的变化。由于 α1 定了的时候, E1 也确定了，所以要想 |E1−E2| 最大，只需要在 E1 为正时，选择最小的 Ei 作为 E2 ，在 E1 为负时，选择最大的 Ei 作为 E2 ，可以将所有的 Ei 保存下来加快迭代。