支持向量机之SMO算法

最新推荐文章于 2022-09-27 17:28:46 发布

原创最新推荐文章于 2022-09-27 17:28:46 发布 · 882 阅读

6 ·

CC 4.0 BY-SA版权

文章标签：

#svm #机器学习

machine learning 专栏收录该内容

13 篇文章

订阅专栏

前面我们讲到SVM的基本理论，现在就涉及到SVM的实现，这里就不得不提到SMO算法

SMO算法

1996年，John Platt 发布了一个称为SMO的强大算法，用于训练SVM，SMO表示表示序列最小优化(Sequential Minimal Optimization)。Platt的SMO算法是将大优化问题分解成为许多个小优化问题来求解。这些小优化问题往往很容易求解，并且对他们进行顺序求解的结果与将他们作为整体求解的结果完全一致，在结果完全相同的情况下，SMO算法的求解时间短很多。

目标

SMO算法的目标就是求出一些列的 $\alpha$ 和 $b$ ，一旦求出了这些 $\alpha$ ，就很容易求出权值向量 $w$ ，并且得到分割超平面

SMO算法的具体做法

SMO的算法原理：每次循环中选择两个 $\alpha$ 进行优化。一旦找到一対合适的 $\alpha$ 就增大其中一个同时减小另外一个。“合适”指的是这两个 $\alpha$ 必须在间隔边界之外，并且没有进行过区间化或者不在边界上。

数学推导

前面我们得到了一个对偶问题：

W (α) = m i n \sum i = 1 N \sum j = 1 N a i a j y i y j x i x j - \sum i = 1 N a i

$W(\alpha)=min\;\sum_{i=1}^N\sum_{j=1}^Na_ia_jy_iy_jx_ix_j-\sum_{i=1}^Na_i$

s . t \sum i = 1 N a i y i = 0, i = 1, 2, 3... N

$s.t\quad \sum_{i=1}^Na_iy_i=0\;,i=1,2,3...N$

0 \leq a i \leq C, i = 1, 2, 3... N

$0\leq a_i\leq C\;,i=1,2,3...N$
我们现在要解决的问题是在参数

(a1,a2,a3....an) ( a 1 , a 2 , a 3 . . . . a n ) $(a_1,a_2,a_3....a_n)$ 上面求

W W $W$ 的最大值的问题，

x_{i}, y_{i}

$x_i,y_i$ 都是已知，而

C C $C$ 是我们预先设定的，所以也是已知数、
我们按照坐标上升的思路，一次性选择两个参数

α_{1}

$\alpha_1$ 和

α2 α 2 $\alpha_2$ ，将其他参数固定，这时

α2 α 2 $\alpha_2$ 可以用

α1 α 1 $\alpha_1$ 表示出来，这样代回到

W W $W$ 中，

W

$W$ 就是关于

α1 α 1 $\alpha_1$ 的函数，这样我们就可以求解。

主要步骤

SMO算法的主要步骤：
第一步选取一对 $\alpha_i$ 和 $\alpha_j$ ，选取方法使用启发式方法。第二步，固定除 $\alpha_i$ 和 $\alpha_j$ 之外的其他参数，确定W极值条件下的 $\alpha_i$ ， $\alpha_j$ 由 $\alpha_i$ 表示。

具体做法

假设我们选取的初始值 $(\alpha_1\,,\alpha_2\,,\alpha_3\, ....\alpha_n)$ 满足前面我们所提到的约束条件，我们固定 $(\alpha_3\,,\alpha_4\,,\alpha_5\, ....\alpha_n)$ 的值
这样 $W$ 就是 $\alpha_1$ 和 $\alpha_2$ 的函数，并且 $\alpha_1$ 和 $\alpha_2$ 满足：

a 1 y 1 + a 2 y 2 = - \sum i = 3 N a i y i (1)

$a_1y_1+a_2y_2=-\sum_{i=3}^Na_iy_i\quad (1)$
由于我们将其他值设定成了固定值，所以可以设等式右边为常数

ζ ζ $\zeta$
所以有

a 1 y 1 + a 2 y 2 = ζ (2)

$a_1y_1+a_2y_2=\zeta\quad (2)$
如果

y1和y2 y 1 和 y 2 $y_1和y_2$ 是异号，我们设

y1=1,y2==−1 y 1 = 1 , y 2 == − 1 $y_1=1,y_2==-1$ ，因此

a1−a2=ζ a 1 − a 2 = ζ $a_1-a_2=\zeta$
函数如图所示

由于

α1 α 1 $\alpha_1$ 和

α2 α 2 $\alpha_2$ 的关系被限定在矩阵里面的直线上，所以有我们设H和L分别表示

a2 a 2 $a_2$ 的上界和下界，所以有两个变量的优化问题实际上变成了一个变量的优化问题。我们不妨假设最终是

α2 α 2 $\alpha_2$ 的优化问题，由于我们上一轮采用的是启发式的迭代法，我们上一轮得到的是

αold1,αold2 α 1 o l d , α 2 o l d $\alpha_1^{old},\alpha_2^{old}$ ，假设沿着

α2 α 2 $\alpha_2$ 方向我们得到未剪辑的

αnew2 α 2 n e w $\alpha_2^{new}$ 。本轮迭代完成之后我们的带的解为

αnew1 α 1 n e w $\alpha_1^{new}$ 和

αnew2 α 2 n e w $\alpha_2^{new}$ ，并且所有的

α2 α 2 $\alpha_2$ 满足

L \leq α 2 \leq H (3)

$L \leq\alpha_2\leq H\quad (3)$
根据前面的公式(2)我们有:

α n e w 1 + α n e w 2 = α o l d 1 + α o l d 2 = ζ (4)

$\alpha_1^{new}+\alpha_2^{new}=\alpha_1^{old}+\alpha_2^{old}=\zeta\quad (4)$
根据上面的直线
若

ζ>0 ζ > 0 $\zeta>0$ ，则有

αnew2∈[0,C−ζ] α 2 n e w ∈ [ 0 , C − ζ ] $\alpha_2^{new}\in [0,C-\zeta]$
若

ζ<0 ζ < 0 $\zeta<0$ ，则有

αnew2∈[−ζ,C] α 2 n e w ∈ [ − ζ , C ] $\alpha_2^{new}\in [-\zeta,C]$
所以

L = m a x (0, - ζ) (5.1)

$L=max(0,-\zeta)\quad (5.1)$

H = m i n (C - ζ, C) (5.2)

$H=min(C-\zeta,C)\quad (5.2)$
同理如果

y1与y2 y 1 与 y 2 $y_1与y_2$ 是同号，

a1+a2=ζ a 1 + a 2 = ζ $a_1+a_2=\zeta$ ，则有：

L = m a x (0, ζ - C) (5.3)

$L=max(0,\zeta -C)\quad (5.3)$

H = m i n (ζ, C) (5.4)

$H=min(\zeta,C) \quad (5.4)$
所以我们通过求导所得到的

αnew2 α 2 n e w $\alpha_2^{new}$ 的结果最终为：

α n e w 2 = ⎧ ⎩ ⎨ ⎪ ⎪ H α n e w 2 L α n e w 2 > H L < α n e w 2 < H α n e w 2 < L

$\alpha_2^{new}=\left\{ \begin{aligned} H& & \alpha_2^{new}>H \\ \alpha_2^{new} && L<\alpha_2^{new}<H \\ L& & \alpha_2^{new}<L \end{aligned} \right.$
接下来我们开始求

αnew2 α 2 n e w $\alpha_2^{new}$ 的值，具体做法就是将目标函数对

α2 α 2 $\alpha_2$ 求偏导
首先整理我们的目标函数：
设

α∗={α∗1,α∗2...,α∗n} α ∗ = { α 1 ∗ , α 2 ∗ . . . , α n ∗ } $\alpha^*=\{ \alpha_1^*,\alpha_2^*...,\alpha_n^*\}$ 是对偶问题的最优解。
设函数

f (x *) = \sum i = 1 N a * i y i K (x i, x) + b (6)

$f(x^*)=\sum_{i=1}^Na_i^*y_iK(x_i,x)+b\quad (6)$
所以有误差Ei为：

E i = f (x i) - y i = \sum j = 1 N a * i y i K (x i, x j) + b - y i (7)

$Ei=f(x_i)-y_i=\sum_{j=1}^Na_i^*y_iK(x_i,x_j)+b-y_i\quad (7)$
我们定

Ki,j K i , j $K_{i,j}$ 表示为

K(xi,xj)=ϕ(xi)ϕ(xj) K ( x i , x j ) = ϕ ( x i ) ϕ ( x j ) $K(x_i,x_j)=\phi(x_i)\phi(x_j)$

所以原来的对偶问题又可以被我们写成关于 ${\alpha_1和\alpha_2}$ 的函数

W (α i, α 2) = m i n 1 2 K 11 α 21 + 1 2 K 22 α 22 + y 1 y 2 a α 1 α 2 - (α 1 + α 2) + y 1 α 1 \sum i = 3 N α i y i K i 1 + α 2 y 2 \sum i = 3 N α i y i K i 2 - \sum i = 3 N α i + \sum i = 3 N \sum j = 3 N α i α j y i y j K i j (8)

$W(\alpha_i,\alpha_2) = min\;\frac{1}{2}K_{11}\alpha_1^2+\frac{1}{2}K_{22}\alpha_2^2+y_1y_2a\alpha_1\alpha_2-(\alpha_1+\alpha_2)+y_1\alpha_1\sum_{i=3}^N\alpha_iy_iK_{i1}+\alpha_2y_2\sum_{i=3}^N\alpha_iy_iK_{i2}-\sum_{i=3}^N\alpha_i+\sum_{i=3}^N\sum_{j=3}^N\alpha_i\alpha_jy_iy_jK_{ij}\quad (8)$

s . t α 1 y 1 + α 2 y 2 = - \sum i = 3 N α i y i = ζ

$s.t\quad \alpha_1y_1+\alpha_2y_2=-\sum_{i=3}^N\alpha_iy_i=\zeta$

0 \leq α i \leq C, i = 1, 2

$0 \leq \alpha_i\leq C,\quad i=1,2$
由于其他数都是常数：
定义一个常量

ψ ψ $\psi$

ψ = \sum i = 3 N \sum j = 3 N α i α j y i y j K i j - \sum i = 3 N α i

$\psi=\sum_{i=3}^N\sum_{j=3}^N\alpha_i\alpha_jy_iy_jK_{ij}-\sum_{i=3}^N\alpha_i$
所以可以将式(8)化简得：

W (α 1, α 2) = 1 2 α 21 K 11 + 1 2 α 22 K 22 + α 1 α 2 y 1 y 2 K 12 - (α 1 + α 2) + y 1 α 1 \sum i = 3 N α i y i K i 1 + y 2 α 2 \sum i = 3 N α i y i K i 2 + ψ (9)

$W(\alpha_1,\alpha_2)=\frac{1}{2}\alpha_1^2K_{11}+\frac{1}{2}\alpha_2^2K_{22}+\alpha_1\alpha_2y_1y_2K_{12}-(\alpha_1+\alpha_2)+y_1\alpha_1\sum_{i=3}^N\alpha_iy_iK_{i1}+y_2\alpha_2\sum_{i=3}^N\alpha_iy_iK_{i2}+\psi\quad (9)$
引进标记

vi v i $v_i$ ，根据公式(6)

v i = \sum j = 3 N α j y j K i j = f (x i) - \sum j = 1 2 a j y j K i j - b (10)

$v_i=\sum_{j=3}^N\alpha_jy_jK_{ij}=f(x_i)-\sum_{j=1}^2a_jy_jKij-b\quad (10)$

由此我们可以将式子(9)简化成:

W (α 1, α 2) = 1 2 α 21 K 11 + 1 2 α 22 K 22 + α 1 α 2 y 1 y 2 K 12 - (α 1 + α 2) + y 1 α 1 v 1 + y 2 α 2 v 2 + ψ (11)

$W(\alpha_1,\alpha_2)=\frac{1}{2}\alpha_1^2K_{11}+\frac{1}{2}\alpha_2^2K_{22}+\alpha_1\alpha_2y_1y_2K_{12}-(\alpha_1+\alpha_2)+y_1\alpha_1v_1+y_2\alpha_2v_2+\psi\quad (11)$

有前面我们的假设可以得到 $\alpha_1y_1+\alpha_2y_2=\zeta$ 并且有 $y_i^2=1$ ，因此我们可以得到

α 1 = y 1 (ζ - α 2 y 2) (12)

$\alpha_1=y_1(\zeta-\alpha_2y_2)\quad (12)$
所以现在我们可以将函数化成与

α2 α 2 $\alpha_2$ 有关的函数：

W(α2)=12K11(ζ−α2y2)2+12K22α22+α2y2K12(ζ−α2y2)−y1(ζ−α2y2)−α2+(ζ−α2y2)v1+α2y2v2 W ( α 2 ) = 1 2 K 11 ( ζ − α 2 y 2 ) 2 + 1 2 K 22 α 2 2 + α 2 y 2 K 12 ( ζ − α 2 y 2 ) − y 1 ( ζ − α 2 y 2 ) − α 2 + ( ζ − α 2 y 2 ) v 1 + α 2 y 2 v 2 $W(\alpha_2)=\frac{1}{2}K_{11}(\zeta-\alpha_2y_2)^2+\frac{1}{2}K_{22}\alpha_2^2+\alpha_2y_2K_{12}(\zeta-\alpha_2y_2)-y_1(\zeta-\alpha_2y_2)-\alpha_2+(\zeta-\alpha_2y_2)v_1+\alpha_2y_2v_2$
化简：
然后我们将函数

W W $W$ 对

α_{2}

$\alpha_2$ 求偏导

\partial W \partial α 2 = K 11 α 2 + K 22 α 2 - 2 K 12 a 2 + y 1 y 2 - 1 + y 2 v 2 - y 1 v 2 - K 11 ζ y 2 + K 12 ζ y 2 = 0

$\frac{\partial W}{\partial \alpha_2}=K_{11}\alpha_2+K_{22}\alpha_2-2K_{12}a_2+y_1y_2-1+y_2v_2-y_1v_2-K_{11}\zeta y_2+K_{12}\zeta y_2=0$

(K 11 + K 22 - 2 K 12) α 2 = y 2 (v 1 - v 2 + y 2 - y 1 + K 11 ζ - K 12 ζ)

$(K_{11}+K_{22}-2K_{12})\alpha_2 = y_2(v1-v2+y_2-y_1+K_{11}\zeta -K_{12}\zeta)$

(K 11 + K 22 - 2 K 12) α 2 = y 2 (y 2 - y 1 + ζ K 11 - ζ K 12 + v 1 - v 2)

$(K_{11}+K_{22}-2K_{12})\alpha_2=y_2(y_2-y_1+\zeta K_{11}-\zeta K_{12}+v1-v2)$

(K 11 + K 22 - 2 K 12) α 2 = y 2 (y 2 - y 1 + (α 1 y 1 + α 2 y 2) K 11 - (α 1 y 1 + α 2 y 2) K 12 + (f (x 1) - b - \sum j = 1 2 a j y j K j 1) - (f (x 2) - b - \sum j = 1 2 a j y j K j 2))

$(K_{11}+K_{22}-2K_{12})\alpha_2=y_2(y_2-y_1+(\alpha_1y_1+\alpha_2y_2)K_{11}-(\alpha_1y_1+\alpha_2y_2)K_{12}+(f(x_1)-b-\sum_{j=1}^2a_jy_jK_{j1})-(f(x_2)-b-\sum_{j=1}^2a_jy_jK_{j2}))$

(K 11 + K 22 - 2 K 12) α 2 = y 2 ((K 11 + K 22 - 2 K 12) α 2 y 2 + y 2 - y 1 + f (x 1) - f (x 2))

$(K_{11}+K_{22}-2K_{12})\alpha_2=y_2((K_{11}+K_{22}-2K_{12})\alpha_2y_2+y_2-y_1+f(x_1)-f(x_2))$

(K 11 + K 22 - 2 K 12) α 2 = y 2 ((K 11 + K 22 - 2 K 12) α 2 y 2 + (f (x 1) - y 1) - (f (x 2) - y 2))

$(K_{11}+K_{22}-2K_{12})\alpha_2=y_2((K_{11}+K_{22}-2K_{12})\alpha_2y_2+(f(x_1)-y_1)-(f(x_2)-y_2))$

(K 11 + K 22 - 2 K 12) α 2 = (K 11 + K 22 - 2 K 12) α 2 + y 2 (E 1 - E 2)

$(K_{11}+K_{22}-2K_{12})\alpha_2=(K_{11}+K_{22}-2K_{12})\alpha_2+y_2(E_1-E_2)$
将

η=K11+K22−2K12 η = K 11 + K 22 − 2 K 12 $\eta = K_{11}+K_{22}-2K_{12}$ 带入，则有:

α n e w 2 = α o l d 2 + y 2 ( E 1 - E 2 ) η

$\alpha_2^{new}=\alpha_2^{old}+\frac{y_2(E_1-E_2)}{\eta}$
此时根据迭代关系是就可以将

α1 α 1 $\alpha_1$ 求出来

变量选择方法

第一个变量的选择

SMO称选择第一个变量的循环为外循环。外循环再训练样本中选择违反KKT条件最严重的点，将其作为第一个样本点。检验训练样本点是否满足KKT条件：

α i = 0 \Leftrightarrow y i (f (x i)) \geq 0

$\alpha_i=0 \Leftrightarrow y_i(f(x_i))\geq 0$

0 \leq α i \leq C \Leftrightarrow y i f (x i) = 1

$0\leq \alpha_i\leq C\Leftrightarrow y_if(x_i)=1$

α i = C \Leftrightarrow y i f (x i) \leq 1

$\alpha_i=C \Leftrightarrow y_if(x_i)\leq 1$
其中

f(xi)=∑Nj=1αjyjK(xi.xj)+b f ( x i ) = ∑ j = 1 N α j y j K ( x i . x j ) + b $f(x_i)=\sum_{j=1}^N\alpha_jy_jK(x_i.x_j)+b$

第二变量的选择

SMO称选择第二个变量的过称为内层循环。假设已经在外层找到一个变量 $\alpha_1$ ，要在内层循环找到变量 $\alpha_2$ 。第二个参数的选择标准是希望 $\alpha_2$ 有足够大的变化。
而 $\alpha_2$ 是依赖于 $|E1-E2|$ ，所以为了加快计算速度，简单的做法是选择 $\alpha_2$ ，使得其对应的 $|E_1-E_2|$ 最大。在外层循环确定了 $\alpha_1$ 的情况下，E1也是确定值，所以如果E1为正数，那么要选取最小的Ei作为E2，如果E1为负数，那么则要选择最大的Ei作为E2