机器学习实战三——步履维艰svm推导

简介：

清明过后，也快一周的时间了，毕设还在计划中进行。昨天晚上和一个考研到西安交通大学的朋友聊天，也互相交流了一下看法，因为他是做蚁群算法的，所以说也都算是算法类的毕设。能够感觉到他对自己的要求也很高，也都是自己独立推导数学公式，优化算法，哈哈，以后又多了一个能够交流的小伙伴。然后也跟哈深的基友交换了看法，都是感觉自己能够看懂别人的算法，但是自己独立实现还是有困难，enmmmmm还是自身底蕴不够，努力吧。
这几天一直在看svm 支持向量机的内容，整整推导了三天的公式，9张A4纸，还是挺骄傲的，毕竟自己以前很不务实。
今天只有一个目的，就是讲清楚svm的数学推导以及简化版的smo算法。

---

支持向量机：

概述：

首先支持向量机是一种监督学习算法，无论训练集还是数据集都是需要标注标签的。那么什么是支持向量？在这之前需要先介绍“分隔超平面”的概念。

分隔超平面：

借用AILearning社区的图片进行说明：
可以看到，在二维的图形中，可以用一条直线将线性可分的数据集分开。那么如果数据集由二维上升到三维呢?是的，可以用一个面，可以是平面，也可以是曲面进行分割。那么当维度上升到n维时，依照规律，则可以使用n-1维度的对象进行分割，那么我们用来分割的对象，便叫做“分割超平面”。
再看一张图：

支持向量：

支持向量实质是数据点，并且是离分割超平面距离最近的数据点，比如上图的苹果。

机：

机也不表示机器，表示的是一种算法。
那么字面意义的支持向量机，就很轻松的讲解完成了。接下来我们讲解支持向量机的数学推导和smo简化版算法。

---

数学建模及推导：

分割超平面：

西瓜书中直接给出了，分割超平面的线性方程：

$W^{T}x+b=0$

我觉得推导过程还是很有必要的，那么我的推导过程如下：

1. 首先直线的情况下，方程为：

$y=ax+b$

2. 微调一下：

$x_1=a{x}_2+b$

3. 移项：

$a{x}_2-x_1+b=0$

4. 向量化：

$[a,-1]\ast [x_2,x_1{]}^T+b=0$

5. 那么令向量

$W^T=[a,-1]$

$X=[x_2,x_1{]}^T$

则最后便可得到公式：

$W^{T}x+b=0$

而维度便是由$W^T$的维度来决定。那么由高等数学的知识可知：
向量$W^T$便是分割超平面的法向量，也就决定了分割超平面的方向，那么b也就是分割超平面的截距，也就是位移项。

---

点到分割超平面的距离：

在高等数学中，我们学习过点到直线的距离：

$d=|\frac{A{x}_0+B{y}_0+C}{\sqrt{A^2+B^2}}|$

那么将距离公式扩展到多维：

$d=|\frac{|W^{T}X+B|}{||W||}|$

分母即为向量W的模

好了，在理解了点到分割超平面的距离之后，我们来谈一下，对于图6-2来说，什么才是最好的分割方法呢？我们依靠什么来判断分割平面的好与坏呢？
分类器的好坏的评定依据是分类间隔W=2d的大小，即分类间隔W越大，我们认为这个超平面的分类效果越好。此时，求解超平面的问题就变成了求解分类间隔W最大化的问题。W的最大化也就是d最大化的。
而在周志华老师的西瓜书中，我们直接把“间隔”定义为：
两个异类支持向量到超平面的距离之和

---

问题转换：

请看下图：

可以看到，我们把左侧的五角星支持向量，还有右侧的圆球支持向量到分割超平面的距离为d，也就是支持向量对应：

$|W^{T}x+b|=1$

那么:

$\gamma =\frac{2}{||W||}$

即为图中2d的值。那么现在我们所求的“最大间隔”问题，就被转换成了$\gamma$的最大值问题，也就是$\frac{1}{||w||}$的最大值问题，也就是$||w|{|}^2$的最小值问题：
则可以将问题重新定义为：
满足$min(\frac{1}{2}||w|{|}^2)$时，求对应的w，b
注意：可能有些人会问为什么多了个系数，实则很简单，为了求导方便

---

约束条件：

在以上的论述中，已经顺利获得了目标函数的数学形式，我们重新整理一下。
求解最大间隔 -----（等价于）------$\gamma$的最大值----（等价于）$min(\frac{1}{2}||w|{|}^2)$
为了求解最大间隔，首先我们要找到支持向量点，那么又怎么在众多数据点中顺利找出支持向量点呢？
为了能够解决以上问题，我们以二维平面为例，对于二维平面上的两类点，我们依次做不同的标记：
如图所示：

做标记如下：
红球：$y_i=+1$
蓝五角星：$y_i=-1$
那么根据图示我们知道，只有支持向量才满足：

$|W^{T}x+b|=1$

所以，支持向量以外的点则满足：

$|W^{T}x+b|>1$

那么我们进一步细分：

1. 如果x属于红球，也就是$y_i=+1$时

$W^{T}x+b>1$

2. 如果x属于蓝球，也就是$y_i=-1$时

$W^{T}x+b<-1$

那么综上所述，我能够得到一个关系式，也就是一个约束条件：

$y_i\ast (W^{T}x+b)>1$ 对于任意的$x_i$恒成立。

---

重写数学关系式：

求什么：

$min(\frac{1}{2}||w|{|}^2)$

约束条件是什么：

$y_i\ast (W^{T}x+b)>1$ 对于任意的$x_i$恒成立。

以上便是支持向量机(svm)的基本型

---

拉格朗日对偶问题：

其实这个板块，在我们考研数学复习中出现过，也就是拉格朗日参数法，然后求极值或或者最值，如果不了解的话，请看一下考研相关数学资料，不过对偶问题我没有深入研究，毕竟我现在主要是应用，这个就按照西瓜书的公式直接运算啦。

1. 那么我们使用拉格朗日乘子法，对上述数学关系式添加约束${\alpha }_i\ge 0$，得到对应的拉格朗日函数为：

$L(w,b,\alpha )=\frac{1}{2}||w|{|}^2+{\sum }_{i=1}^n{\alpha }_i(1-y_i(w^T{x}_i+b))$ （*）

那么下面依次求L对$w$、$\alpha$偏导数：
求导过程很简单，自己推导就可以了，得到结果：

$w={\sum }_{i=1}^n{\alpha }_i{y}_i{x}_i$

${\sum }_{i=1}^n{\alpha }_i{y}_i=0$

好，我们将以上这两个式子代回$L(w,b,\alpha )$中可知，$w$、$b$就能够被消去,得到结果：

$L(w,b,\alpha )={\sum }_{i=0}^n{\alpha }_i-\frac{1}{2}{\sum }_{i,j=1}^n{\alpha }_i{\alpha }_j{y}_i{y}_j{x}_i^T{x}_j$

那么这个便是*式的对偶问题数学表达式。于是问题变转化为：

$ma{x}_{{\alpha }_i}:{\sum }_{i=0}^n{\alpha }_i-\frac{1}{2}{\sum }_{i,j=1}^n{\alpha }_i{\alpha }_j{y}_i{y}_j{x}_i^T{x}_j$

应该满足的条件为：

${\sum }_{i=1}^n{\alpha }_i{y}_i=0$

${\alpha }_i\ge 0$

那么现在的问题就变成了求解$\alpha$的值，不过目前这个问题属于二次规划问题，在大数据、大样本下如果使用通法来解决则会造成很大的开销，由此我们使用著名的smo算法求解，那么接下来，我们将讲解smo算法的过程，也就是数学逻辑推导。

---

smo算法

SMO算法的工作原理是：每次循环中选择两个alpha进行优化处理。一旦找到了一对合适的alpha，那么就增大其中一个同时减小另一个。这里所谓的”合适”就是指两个alpha必须符合以下两个条件，条件之一就是两个alpha必须要在间隔边界之外，而且第二个条件则是这两个alpha还没有进进行过区间化处理或者不在边界上。

算法步骤：

1. 计算误差：

$E_i=f(x_i)-y_i={\sum }_{i=1}^n{a}_j{y}_j{x}_i^T{x}_j+b-y_i$

2. 计算上下界：

$L=max(0,a_j^{old}-a_i^{old}),H=min(C,C+a_j^{old}-a_i^{o}ld)$ if $y_i!=y_j$

$L=max(0,a_j^{old}+a_i^{old}),H=min(C,a_j^{old}+a_i^{old})$ if $y_i=y_j$

3. 计算$\eta$

$\eta =x_i^T{x}_i+x_j{x}_j^T-2x_i^T{x}_j$

4. 更新${\alpha }_j$

${\alpha }_j^{new}={\alpha }_i^{old}+\frac{y_i(E_i-E_j)}{\eta }$

5. 修正${\alpha }_j$:

${\alpha }^{new,clipped}=H$，if ${\alpha }_2^{new}\ge H$

${\alpha }^{new,clipped}={\alpha }_2^{new}$ ，if $L\le {\alpha }_2^{new}\le H$

${\alpha }^{new,clipped}=L$ ，if ${\alpha }_2^{new}\le L$

6. 更新${\alpha }_i$

$a_i^{new}=a_i^{old}+y_i{y}_j(a_j^{old}-a_j^{new,clipped})$

7. 更新b1和b2：

$b_1^{new}=b^{old}-E_i-y_i({\alpha }_i^{new}-{\alpha }_i^{old})x_i^T{x}_i-y_j({\alpha }_j^{new}-{\alpha }_j^{old})x_j^T{x}_i$

$b_2^{new}=b^{old}-E_i-y_i({\alpha }_i^{new}-{\alpha }_i^{old})x_i^T{x}_j-y_j({\alpha }_j^{new}-{\alpha }_j^{old})x_j^T{x}_j$

8. 根据b1、b2更新b：

$b=b_1$ ，$0\le {\alpha }_i^{new}\le C$

$b=b_2$，$0\le {\alpha }_2^{new}\le C$

$b=\frac{b_1+b_2}{2}$ ，others

---

我在这里重申一下，我只是把推导公式后的smo算法的步骤全部罗列了下来，大家如果对推导感兴趣，有以下方式可以查看到：

---

1. jack_cui机器学习专栏
2. 南瓜书——专注于西瓜书的公式推导
3. 可以关注我的公众号，回复“smo公式推导”，我会把我的手动推导过程呈献给大家。这里解释一下吧，主要是我推导的公式字迹太乱了，最近也没有太多的时间重新推导，所以只能是以这种方式，等重新手动推导结束，过一段时间上传至优快云、Coder引力（个人微信公众号）二维码如下：
   

---

总结&计划：

1. svm不是很好理解，一定要沉下心来手动推导公式，才能真正理解smo算法的整体流程
2. 支持向量机这一块，我只学习了以上这些内容，例如核函数、核方法、软间隔等问题还没有深入学习，这个就留在研究生阶段好好攻克了，现在的首要任务还是做毕设。
3. 要赶快动手写代码了，nlp处理还要做的更加精细，尝试在原有基础上使用word2Vec工具。

---

鸣谢：

1. 毕设老师提供的学习思路
2. Jack_cui机器学习专栏
3. 西瓜书、南瓜书