机器学习笔记(五)之详解SVM支持向量机

上篇博客我们讲的是logistic分类器，一个基于概率的分类器，本篇的SVM(support vector machine)是一个基于间隔的二元分类器。

支持向量机

在机器学习中，支持向量机（英语：support vector machine，常简称为SVM，又名支持向量网络[1]）是在分类与回归分析中分析数据的监督式学习模型与相关的学习算法。给定一组训练实例，每个训练实例被标记为属于两个类别中的一个或另一个，SVM训练算法创建一个将新的实例分配给两个类别之一的模型，使其成为非概率二元线性分类器。SVM模型是将实例表示为空间中的点，这样映射就使得单独类别的实例被尽可能宽的明显的间隔分开。然后，将新的实例映射到同一空间，并基于它们落在间隔的哪一侧来预测所属类别。

线性支持向量机

根据支持向量机的数据是否线性可分，支持向量机又分为线性可分支持向量机和非线性可分支持向量机。
给定数据样本集

$$D={(x_1,y_1),(x_2,y_2)....(x_n,y_n)}$$
$x_i{\in}R,yi\in{\gamma}=\left\{ +1,-1 \right\},i=1,2,3,..N$， $x_i$是第 $i$个特征向量，$y_i$是 $x_i$的类别。yi取1或者-1表示两个不同的类别。所以一个线性分类器的作用就是在特征空间中找到一个超平面，将实例分到两个不同的类。超平面的方程表示为

$$w^tx+b=0$$

超平面将数据样本分为两类，一部分指向正类，一部分指向负类。

如图所示的，红色表示正例，蓝色表示负例。训练数据集线性可分，这时候有很多直线能够将两类数据正确划分。而线性可分支持向量机则对应着将两类直线划分并且间隔最大的直线。如下图所示，找出一个最粗直线使之刚好能够将两个类别正确划分，并且这条最粗的直线是唯一的(唯一性的证明可以参考统计学习方法)。

从几何上面直观的表示，由于超平面是用来划分两类数据的，因此距离超平面越远，越容易划分。而距离超平面越近的点，则越不容易划分。因为超平面稍微转动一下的话就会导致数据从一个类别划分到了另一个类别。因此我们需要找到那个最粗的线。这里就需要引入函数间隔和集合间隔。

函数间隔和几何间隔

一般而言，一个点距离超平面的远近可以表示分类预测预测的确信程度。在超平面$wx+b=0$ 确定的情况下，$|wx+b|$能够表示点$x$距离超平面的远近，而$wx+b$的符号和类标记$y$的符号是否一致可以表示分类是否正确。所以可以用$y(wx+b)$来表示分类的正确性和可信度，这就是函数间隔(functional margin)的概念。

定义(函数间隔) 对于给定的训练数据集T和超平面(w,b),定义超平面(w,b)与样本点$(x_i,y_i)$的函数间隔为

$$\hat{\gamma}=y_i(w*x_i+b)$$
定义超平面(w,b)关于训练数据集T的函数间隔为超平面(w,b)关于T所有样本点 $(x_i,y_i)$( $i=1,2,3,4...N}$)函数间隔的最小值,即

$$\hat{\gamma}=min\hat{\gamma_i}$$

函数间隔可以表示分类预测的正确性和确定度，但是选择分离超平面的时候只有函数间隔还是不够的，因为只要成比例的改变w和b，超平面没有变，函数间隔却变成了原来的两倍，这一事实其实我们，可以对超平面的法向量·w加上约束例如规划化||w||=1,是间隔确定，此时函数间隔变成了几何间隔(geometric margin)。

计算与超平面的距离
给定超平面(w,b)及其法向量w，点A表示某一实例$x_i$,，其类标记$y_i=+1$。点A与超平面(w,b)的距离由线段AB给出，记作$\zeta_i$

$$\zeta_i=\frac{w}{||w||}*x_i+b\frac{b}{||w||}$$

其中$||w||$是w的L2范数。这是点A在超平面的正的一侧。如果点A在超平面负的一侧，即$y_i=-1$，那么点与超平面的距离为

$$\zeta_i=-(\frac{w}{||w||}*x_i+\frac{b}{||w||})$$
即表示的是蓝线或者粉红色线到中间红线的距离= $\zeta$

下面引出几何间隔

几何间隔定义 对于给定的训练集T和超平面(w,b)，定义超平面(w,b)关于点$(x_i,y_i)$的几何间隔为:

$$\gamma_i=y_i(\frac{w}{||w||}*x_i+\frac{b}{||w||})$$
其实就是距离乘以 $y_i$
定义超平面(w,b)关于训练集T的几何间隔为超平面(w,b)关于T中所有样本点 $(x_i,y_i)$的几何间隔的最小值，即 $$\gamma=min\gamma_i$$
几何间隔一般指的是实例点到超平面带符号的距离，当样本分类正确的时候就是实例点到超平面的距离。
所以有函数间隔和几何间隔的关系为: $$\gamma=\frac{\hat\gamma}{||w||}$$
如果||w||=1，那么几何间隔和函数间隔相等。如果超平面参数w和b成比例的改变，函数间隔也会成比例的改变，但是几何间隔不变。

间隔最大化

在知道了几何间隔和函数间隔之后，接下来，我们就要确定最大的几何间隔了，即最粗的那条‘分割线’。对于线性可分的训练集而言，几何间隔最大的超平面是唯一的。这里的间隔最大化又称为硬间隔最大化(指的是数据集线性可分的情况，相对于数据集非线性可分的软间隔最大化)。

间隔最大化超平面

间隔最大化超平面就是指的在所有可行的划分线当中找出间隔最大的一条。这个问题可以表示为下面的约束问题

$$max \,\gamma,s.t \quad y_i(\frac{w}{||w||}*x_i+\frac{b}{||w||}\geq\gamma),\quad i=1,2,3,4...N$$
考虑到几何间隔和函数间隔的关系，可以将这个问题改为:
$$max\frac{\hat\gamma}{||w||},\quad s.t\quad y_i(wx_i+b)\geq\hat\gamma,\quad i=1,2,3,....N$$
由于函数间隔的改变对于上面的不等式约束没有什么影响，也就是说他可以产生一个等价的最优化问题，这样就可以去 $\hat\gamma$，我们令 $\hat\gamma=1,$所以上面的问题等价于 $$max\frac{1}{||w||}$$
其实最大化 $\frac{1}{||w||}$和最小化 $\frac{1}{2}||w||^2$是等价的，所以我们就得到了下面的最优化问题。为了方便求解，我们还加上了一个平方和系数。
$$min \frac{1}{2}||w||^2\quad s.t\quad y_i(wx_i+b)-1\geq0 \;i=1,2,3...N$$
于是就变成了一个凸二次规划问题(关于凸优化这里博主其实不太了解，有大佬懂的的可以交流下)，可以直接用优化计算包，但是我们可以用更高效的方法利用拉格朗日乘子法。

对偶问题

利用拉格朗日的对偶性，我们可以通过求解对偶问题来求解原始问题的最优解，这是线性可分支持向量机的对偶算法。这样做的优点有两个，一是对偶问题往往更容易求解，二是自然引入核函数，进而推广到非线性分类问题。
具体来讲就是对上面的公式添加拉格朗日算子约束，于是我们要求的问题变成了

$$L(w,b,a)=\frac{1}{2}||w||^2-\sum_{i=1}^Na_iy_i(wx_i+b-1)$$

然后我们令

$$\theta(w)=max\;L(w,b,a),\quad a_i\geq0$$

容易验证，当某些约束条件不满足的时候，例如$y_i(wx+b)<1$的时候$\theta=\infty$(只要令$a_i=\infty$).当所有的约束条件都满足的时候，则有$\theta(w)=\frac{1}{2}||w||^2$，因此在满足约束条件的情况下，最小化$\frac{1}{2}||w||^2$等价于直接最小化$\theta(w)$,所以我们的目标函数变成了

$$min\theta(w)=min\;max\;L(w,b,a)$$
根据拉格朗日的对偶性，我们可以将原始问题变成，在满足KKT条件下两者是等价的
$$min\theta(w)=max\;min\;L(w,b,a)$$

所以我们现在开始对这个问题进行求解:
(1)求$minL(w,b,a)$
将拉格朗日函数L(w,b,a)分别对w,b求偏导并令其等于0

$$L(w,b,a)=\frac{1}{2}||w||^2-\sum_{i=1}^Na_i(y_i(wx_i+b)-1)\quad (1)$$
函数L(w,b,a)对w偏导
$$\frac{\partial L}{\partial w}=w-\sum_{i=1}^Na_ix_iy_i=0$$
解得: $$w=\sum_{i=i}^Na_ix_iy_i\quad (2)$$
同理对b求偏导:
$$\frac{\partial L}{\partial b}=0$$
解得:
$$\sum_{i=1}^Na_iy_i=0\quad (3)$$
然后将式(2)(3)带入式(1)中
$$L(w,b,a)=\frac{1}{2}||w||^2-\sum_{i=1}^Na_i(y_i(\sum_{j=1}^Na_jx_jy_jx_i +b)-1)$$
$$L(w,b,a)=\frac{1}{2}||w||^2-\sum_{i=1}^Na_iy_i(\sum_{j=1}^Na_jx_jy_j x_i+b)+\sum_{i=1}^Na_i$$
$$L(w,b,a)=\frac{1}{2}ww^T-\sum_{i=1}^N\sum_{j=1}^Na_ia_j y_iy_j(x_ix_j)+\sum_{i=1}^Na_i$$
$$L(w,b,a)=-\frac{1}{2}\sum_{i=1}^N\sum_{j=1}^Na_ia_jx_ix_jy_iy_j+\sum_{i=1}^Na_i$$
此时我们得到关于 dual variable α 的优化问题：
$$max\sum_{i=1}^Na_i-\frac{1}{2}\sum_{i=1}^N\sum_{j=1}^Na_ia_jx_ix_jy_iy_j$$
$$s.t\quad \sum_{i=1}^Na_iy_i=0$$
$$a_i\geq0,\quad i=1,2,3...N$$

KKT条件

所以上述优化满足KKT条件

$$\nabla_wL(w,b,a)=w-\sum_{i=1}^Na_iy_ix_i=0$$
$$\Delta_bL(w,b,a)=-\sum_{i=1}^Na_iy_i=0$$
$$a_i[y_i(w*x_i+b)-1]=0$$
$$y_i(w*x_i+b)-1\geq1$$
$$a_i\geq0$$

现在我们来对对偶问题进行求解
$f(x)=w^Tx+b$,前面我们推导出$w=\sum_{i=1}^Na_ix_iy_i$因此将w带入到$f(x)$当中

$$f(x)=(\sum_{i=1}^Na_ix_iy_i)^Tx+b$$
$$f(x)=\sum_{i=1}^Na_iy_i(x_ix)+b$$
因此对于新点的预测，只需要计算其与训练集里面的点的內积就行了。从KKT条件中我们知道，对于support vector, $\alpha\geq0$，而对于非support vector， $\alpha=0$。 算到这一步之后，通过方程组的计算，就可以把w和b求出来。即求出了所要的支持向量机(参考统计学习方法上面例子)。

前面我们所讲的都是值硬间隔最大化，下面介绍软间隔最大化

软间隔最大化

硬间隔和软间隔的区别在于训练集是否线性可分。如果完全线性可分，则说明是硬间隔。而通常情况下训练集线性不可分是由于一些特异点(outlier)的存在，将这些特异点出去之后，剩下的大部分样本所组成的集合还是线性可分的。由于超平面是由几个support vector组成，因此outlier其实对我们的SVM模型影响非常大。如下面图所示，由于异常的蓝色点使得超平面偏差很大。

为了解决这种问题，我们允许数据点在一定程度上偏离超平面。黑色线所对应的就是偏离之后的距离，如果将其移动回来，就落在原来的超平面上，而不会是超平面发生形变。具体做法:引进一个松弛变量$\xi_i\geq0$,势函数间隔加上松弛变量大于等于1，这样约束条件为

$$y_i(wx_i+b)\geq1-\xi_i$$
同时对于每一个松弛变量 $\xi_i$，支付一个代价 $\xi_i$.目标函数由原来的 $\frac{1}{2}||w||^2$变成了
$$\frac{1}{2}||w||^2+C\sum_{i=1}^N\xi_i\quad (4)$$
C>0成为惩罚函数，一般由应用问题决定，C值大时对误分类的惩罚增加了，C值小的时候对误分类的惩罚减小.最小化目标函数(4)有两层含义。一是使 $\frac{1}{2}||w||^2$尽量小即间隔尽量打，而是是被错误分类的数据点尽量少，C是调和两者的系数。
于是完整的目标函数为
$$\frac{1}{2}||w||^2+C\sum_{i=1}^N\xi_i$$
$$s.t\quad y_i(wx_i+b)\geq1-\xi_i,\quad i=1,2,3,...N$$
$$\xi_i\geq0,\quad i=1,2,3...N$$
将约束条件带入到目标函数当中则有:
$$L(w,b,\xi,\alpha,\mu)=\frac{1}{2}||w||^2+C\sum_{i=1}^N\xi_i-\sum_{i=1}^Na_i(y_i(wx_i+b)-1+\xi_i)-\sum_{i=1}^N\mu_i\xi_i\quad (5)$$
$\mu_i表示第二个参数$
分别对 $w,b,\xi$求偏导有

$$\frac{\partial L}{\partial w}=w-\sum_{i=1}^Na_ix_iy_i=0$$
$$\frac{\partial L}{\partial b}=-\sum_{i=1}^Na_iy_i=0$$
$$\frac{\partial L}{\partial \xi_i}=C-a_i-\mu_i=0$$
求解得:
$$w=\sum_{i=1}^Na_ix_iy_i$$
$$\sum_{i=1}^Na_iy_i=0$$
$$C-\alpha_i-\mu_i=0$$
将其带入到目标函数(5)中得
$$minL(w,b,\xi,\alpha,\mu)=-\frac{1}{2}\sum_{i=1}^N\sum_{j=1}^Na_ia_jy_iy_j(x_i*x_j)+\sum_{i=1}^Na_i$$
$$s.t\quad \sum_{i=1}^Na_iy_i=0$$
$$C-\alpha_i-\mu_i=0$$
$$\color{red}{0\leq\alpha_i\leq C}$$
与上面相比红色约束条件发生了变化，其他都是一样。这样线性或者近似线性的支持向量机就这样介绍完毕。下篇介绍非线性支持向量机以及核函数。

前面我们谈到的是线性可分和近似线性可分的数据，但是我们有时候会遇到无法对其进行线性分类的数据。例如下图中的圆。

对于上面的圆，理想的分界线应该是一个圆，而不是一条直线。如果用 $X1$和 $X2$表示这个二维平面的两个坐标的话，我们知道一条二次曲线的方程可以写成
$$a_1X_1+a_2X_1^2+a_3X_2+a_4X_2^2+a_5X_1X_2+a_6=0$$
如果我们构造另外一个五维空间，其中五个坐标分别为 $Z_1=X_1,Z_2=X_1^2,Z_3=X_2,Z_4=X_2^2,Z_5=X_1X_2$,那么显然方程在新的坐标下面可以写成
$$\sum_{i=1}^5a_iZ_i+a_6=0$$
关于新的方程Z，正是一个超平面方程，也就是说，如果我们做一个映射， $\phi:\mathbb{R}^2\rightarrow\mathbb{R}^5$,将 $X$按照上面的规则映射成$Z$,那么原来不能线性可分的数据在新的空间里面就变得线性可分，从而我们可以使用前面提到的处理线性可分数据的方法。这就是kernel的思想。
再进一步描述 Kernel 的细节之前，不妨再来看看这个例子映射过后的直观例子。当然，我没有办法把 5 维空间画出来，不过由于我这里生成数据的时候就是用了特殊的情形，具体来说，我这里的超平面实际的方程是这个样子（圆心在 X2 轴上的一个正圆）： $$a_1X_1^2 + a_2(X_2-c)^2 + a_3 = 0$$
因此我只需要把它映射到 Z1=X21, Z2=X22, Z3=X2 这样一个三维空间中即可，下图（这是一个 gif 动画）即是映射之后的结果，将坐标轴经过适当的旋转，就可以很明显地看出，数据是可以通过一个平面来分开的：



所以对于核函数的定义

核函数 设$\chi$是输入空间(欧式空间$R^n$的子集或者离散子集)，又设$H$为特征空间(希尔伯特空间)，如果存在一个从$\chi$到$H$的映射

$$\phi(x):\chi\longrightarrow H$$
使得对所有的$x,z\in\chi$，函数$K(x,z)$满足条件：

$$K(x,z)=\phi(x)\phi(z)$$
则称 $K(x,z)$为核函数， $\phi(x)$为映射函数，式中 $\phi(x)\phi(z)$为 $\phi(x)$和 $\phi(z)$的內积。
前面我们最终得到的分类函数是
$$f(x)=\sum_{i=1}^Na_iy_i(x_ix)+b$$
在映射之后的空间则变成
$$f(x)=\sum_{i=1}^Na_iy_i(\phi(x_i)\phi(x))+b$$
其中 $\alpha$也是求解下面的对偶问题得到的
$$max \sum_{i=1}^Na_i-\sum_{i=1}^N\sum_{j=1}^Na_ia_jy_iy_j(\phi(x_i)\phi(x_j))$$
$$s.t\quad a_i\geq0\, ,i=1,2,3,4...N$$
$$\sum_{i=1}^Na_iy_i=0$$

参考资料

• 李航《统计学习方法》
• 周志华《机器学习》
• 《机器学习实战》
• pluskid的SVM系列博客
• 林轩田:机器学习技法
• SVM核函数