机器学习笔记四——SVM

支持向量机的学习方法包括三种：线性可分支持向量机、线性支持向量机和非线形支持向量机，这三种由简至繁，依次介绍。

一、线性可分支持向量机与硬间隔最大化

1.1 线性可分支持向量机

考虑一个二分类问题，且数据集是完全线性可分的，通过间隔最大化等价的求解相应的凸二次规划问题学习得到的分离超平面为$${\omega }^{\ast }\bullet x+b^{\ast }=0\text{\hspace{1em}(1)}$$
以及相应的分类决策函数$$f(x)=sign({\omega }^{\ast }\bullet x+b^{\ast })\text{\hspace{1em}(2)}$$
称为线型可分支持向量机。

下面介绍间隔最大化以及如何求解。

1.2 函数间隔与几何间隔

一般来说，一个点距离分离超平面的远近可以表示分类预测的确信程度。距离分离超平面越远，正确预测该点的确信程度越高。

函数间隔：
对于给定的数据集和超平面$(\omega ,b)$，定义超平面$(\omega ,b)$关于样本点$(x_i,y_i)$的函数间隔为$$\widehat{{\gamma }_i}=y_i(\omega \bullet x+b)\text{\hspace{1em}(3)}$$
超平面$(\omega ,b)$关于数据集的函数间隔为所有样本点的函数间隔的最小值，即$$\hat{\gamma }=\underset{i=1,\cdots ,N}{\min }\widehat{{\gamma }_i}\text{\hspace{1em}(4)}$$
其中 y i ∈ { + 1 , − 1 } y_i\in\{+1, -1\} yi​∈{+1,−1}

函数间隔可以表示分类预测的正确性和确信度。如果函数间隔大于0，说明预测正确，而函数间隔越大，确信度越高。

但当$(\omega ,b)$成倍变化时，比如变成$(2\omega ,2b)$，超平面没有变化，但函数间隔却发生了变化，因此引入几何间隔的概念。

几何间隔：
对于给定的数据集和超平面$(\omega ,b)$，定义超平面$(\omega ,b)$关于样本点$(x_i,y_i)$的几何间隔为$${\gamma }_i=y_i(\frac{\omega }{||\omega ||}\bullet x+\frac{b}{||\omega ||})\text{\hspace{1em}(5)}$$
超平面$(\omega ,b)$关于数据集的函数间隔为所有样本点的函数间隔的最小值，即$$\gamma =\underset{i=1,\cdots ,N}{\min }{\gamma }_i\text{\hspace{1em}(6)}$$

由定义可知几何间隔与函数间隔的关系为${\gamma }_i=\frac{\widehat{{\gamma }_i}}{||\omega ||}$，$\gamma =\frac{\hat{\gamma }}{||\omega ||}$。如果$||\omega ||=1$，那么函数间隔与几何间隔相等，而当$(\omega ,b)$成倍变化时（超平面不发生变化），函数间隔会随之变化，而几何间隔不会变化。

1.3 间隔最大化

支持向量机的基本思想是求解能够正确划分训练数据集且几何间隔最大的分离超平面。间隔最大化的直接解释是：对训练数据集找到几何间隔最大的超平面意味着以充分大的确信度对训练数据进行分类。而这样的分离超平面存在且唯一。

1.3.1 最大间隔分离超平面

最大间隔分离超平面可等价于以下约束最优化问题$$\underset{\omega ,b}{\max }\gamma \text{\hspace{1em}(7)}$$
$$s.t.y_i(\frac{\omega }{||\omega ||}\bullet x+\frac{b}{||\omega ||})\ge \gamma ,i=1,2,\cdots ,N\text{\hspace{1em}(8)}$$
考虑到几何间隔和函数间隔的关系，可将上式写成$$\underset{\omega ,b}{\max }\frac{\hat{\gamma }}{||\omega ||}\text{\hspace{1em}(9)}$$
$$s.t.y_i(\omega \bullet x_i+b)\ge \hat{\gamma },i=1,2,\cdots ,N\text{\hspace{1em}(10)}$$

函数间隔$\hat{\gamma }$的取值不影响问题的解，所以可令$\hat{\gamma }=1$，同时注意到${\max }_{\omega ,b}\frac{1}{||\omega ||}$等价于${\min }_{\omega ,b}\frac{1}{2}||\omega |{|}^2$

所以有$$\underset{\omega ,b}{\min }\frac{1}{2}||\omega |{|}^2\text{\hspace{1em}(11)}$$
$$s.t.y_i(\omega \bullet x_i+b)-1\ge 0,i=1,2,\cdots ,N\text{\hspace{1em}(12)}$$
$(11)$和$(12)$是一个凸二次规划问题，通过求解$(11)$和$(12)$，得到${\omega }^{\ast }$和$b^{\ast }$为最优解，即可得到分离超平面。

1.3.2 支持向量和间隔边界

在线性可分情况下，训练数据集的样本点中与分离超平面距离最近的样本点的实例成为支持向量。换句话说，支持向量是使约束条件$(12)$等号成立的点。即下图中红色标记的点。

而两条虚线相互平行，而且并没有实例点落在它们中间，它们之间的距离就称为间隔。两条虚线称为间隔边界。

在决定分离超平面时，只有支持向量在起作用，其他实例点并不起作用。

1.3.3 学习的对偶算法

$(11)$和$(12)$并不容易直接求解，考虑将它作为原始最优化问题，应用拉格朗日对偶性，通过求解对偶问题得到原始问题的最优解。

首先构建拉格朗日函数$$L(\omega ,b,\alpha )=\frac{1}{2}||\omega |{|}^2-\sum _{i=1}^N{\alpha }_i{y}_i(\omega \bullet x_i+b)+\sum _{i=1}^N{\alpha }_i\text{\hspace{1em}(13)}$$
其中，$\alpha =({\alpha }_1,\cdots ,{\alpha }_N{)}^T$为拉格朗日乘子向量。根据拉格朗日对偶性，原始问题的对偶问题是极大极小问题，即$$\underset{\alpha }{\max }\underset{\omega ,b}{\min }L(\omega ,b,\alpha )\text{\hspace{1em}(14)}$$
因此，为了得到原始问题的解，先求$L(\omega ,b,\alpha )$对$\omega ,b$的极小，再求$\alpha$的极大。
 

要求$L(\omega ,b,\alpha )$对$\omega ,b$的极小，将$L(\omega ,b,\alpha )$分别对$\omega ,b$求偏导数并令其等于0，得到$$\omega =\sum _{i=1}^N{\alpha }_i{y}_i{x}_i\text{\hspace{1em}(15)}$$
$$\sum _{i=1}^N{\alpha }_i{y}_i=0\text{\hspace{1em}(16)}$$
再将其带入$(13)$并化简得到$$\underset{\omega ,b}{\min }L(\omega ,b,\alpha )=-\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_j(x_i\bullet x_j)+\sum _{i=1}^N{\alpha }_i\text{\hspace{1em}(17)}$$

再求$\alpha$的极大，并将极大转化为极小可有$$\underset{\alpha }{\min }\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_j(x_i\bullet x_j)-\sum _{i=1}^N{\alpha }_i\text{\hspace{1em}(18)}$$
$$s.t.\sum _{i=1}^N{\alpha }_i{y}_i=0\text{\hspace{1em}(19)}$$
$${\alpha }_i\ge 0i=1,2\cdots ,N\text{\hspace{1em}(20)}$$

设${\alpha }^{\ast }=({\alpha }_1^{\ast },\cdots ,{\alpha }_N^{\ast }{)}^T$是对偶最优化问题$(18)\sim (20)$的解，存在下标$j$，使得${\alpha }_j^{\ast }>0$，并可按下式求得原始最优化问题$(11)\sim (12)$的解$${\omega }^{\ast }=\sum _{i=1}^N{\alpha }_i^{\ast }{y}_i{x}_i\text{\hspace{1em}(21)}$$
$$b^{\ast }=y_j-\sum _{i=1}^N{\alpha }_i^{\ast }{y}_i(x_i\bullet x_j)\text{\hspace{1em}(22)}$$

1.3.4 KKT条件

二、线性支持向量机与软间隔最大化

2.1 线性支持向量机

当数据集不能线性可分时，上述方法不适用，因为上述方法中的不等式约束并不能成立。假设数据集中有一些特异点。将这些特异点去除后，剩下大部分的样本点是线性可分的。不等式约束不能成立，即不能全部满足$y_i(\omega \bullet x_i+b)-1\ge 0,i=1,2,\cdots ,N$，为了解决这个问题，可以对每个样本点$(x_i,y_i)$都引入一个松弛变量${\xi }_i\ge 0$，使得函数间隔加上松弛变量大于等于1，即约束条件变为$$y_i(\omega \bullet x_i+b)\ge 1-{\xi }_i,i=1,2,\cdots ,N\text{\hspace{1em}(23)}$$
而目标函数变为$$\frac{1}{2}||\omega |{|}^2+C\sum _{i=1}^N{\xi }_i\text{\hspace{1em}(24)}$$
其中$C>0$为惩罚函数，越大，对误分类的惩罚越大。$(24)$使间隔尽可能大，同时误分类的点尽可能的少。

其对偶问题和上述类似，也是先写出拉格朗日函数，再求极小极大，最终可以得到$$\underset{\alpha }{\min }\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_j(x_i\bullet x_j)-\sum _{i=1}^N{\alpha }_i\text{\hspace{1em}(25)}$$
$$s.t.\sum _{i=1}^N{\alpha }_i{y}_i=0\text{\hspace{1em}(26)}$$
$$0\le {\alpha }_i\le Ci=1,2\cdots ,N\text{\hspace{1em}(27)}$$

同样的有，设${\alpha }^{\ast }=({\alpha }_1^{\ast },\cdots ,{\alpha }_N^{\ast }{)}^T$是对偶最优化问题$(25)\sim (27)$的解，存在下标$j$，使得$0<{\alpha }_j<C$，可按下式求得原始最优化问题$(23)\sim (24)$的解$${\omega }^{\ast }=\sum _{i=1}^N{\alpha }_i^{\ast }{y}_i{x}_i\text{\hspace{1em}(28)}$$
$$b^{\ast }=y_j-\sum _{i=1}^N{\alpha }_i^{\ast }{y}_i(x_i\bullet x_j)\text{\hspace{1em}(29)}$$

2.2 支持向量

对于线性不可分的数据集，将对偶问题$(25)\sim (27)$的解${\alpha }^{\ast }=({\alpha }_1^{\ast },\cdots ,{\alpha }_N^{\ast }{)}^T$中对应于${\alpha }_i^{\ast }>0$的样本点$(x_i,y_i)$的实例称为支持向量。此时支持向量或者在间隔边界上，或者在间隔边界与分离超平面之间，或者在分离超平面误分一侧。

三、非线形支持向量机与核函数

有时分类问题是非线形的，这时用非线形模型才能较好的进行分类。但非线形问题往往不好解，所以进行一个非线形变换，将非线性问题变换为线性问题，通过解变换后的线形问题的方法求解原来的非线性问题。

用线性分类方法求解非线形分类问题分为两步：首先使用一个变换将原空间的数据映射到新空间；然后在新空间里用线性分类学习方法从训练数据中学习分类模型。核技巧就属于这样的方法。

3.1 核函数

设$\mathcal{X}$是输入空间，$\mathcal{H}$为特征空间，如果存在一个从$\mathcal{X}$到$\mathcal{H}$的映射$$\varphi (x):\mathcal{X}\to \mathcal{H}\text{\hspace{1em}(30)}$$
使得对所有的$x,z\in \mathcal{X}$，函数$K(x,z)$满足条件$$K(x,z)=\varphi (x)\bullet \varphi (z)\text{\hspace{1em}(31)}$$
则称$K(x,z)$为核函数，$\varphi (x)$为映射函数，$\varphi (x)\bullet \varphi (z)$为$\varphi (x)$与$\varphi (z)$的内积。

核技巧的想法是，在学习和预测中只定义核函数$K(x,z)$，而不显式的定义映射函数$\varphi (x)$。一方面，直接计算核函数比较容易，而通过$\varphi (x)$和$\varphi (z)$计算$K(x,z)$并不容易；另一方面，注意到在线性支持向量机的对偶问题中，无论是目标函数还是决策函数都只设计输入实例与实例之间的内积$x_i\bullet x_j$，因此可以用$K(x,z)=\varphi (x)\bullet \varphi (z)$来代替，此时目标函数变为$$W(\alpha )=\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_{j}K(x_i,x_j)-\sum _{i=1}^N{\alpha }_i\text{\hspace{1em}(32)}$$
这等价于经过映射函数$\varphi$将原来的输入空间变换到一个新的特征空间，将输入空间里的$x_i\bullet x_j$变换为特征空间里的$\varphi (x)\bullet \varphi (z)$。在新的特征空间里从训练样本学习线性支持向量机，当映射函数是非线性函数时，学习到的含有核函数的支持向量机就是非线形分类模型。学习是隐式的在特征空间进行的，不需要显式的定义特征空间和映射函数，这种技巧就是核技巧。

3.2 常用核函数

$\bullet$多项式核函数$$K(x,z)=(x\bullet z+1{)}^p\text{\hspace{1em}(33)}$$
$\bullet$高斯核函数$$K(x,z)=\exp (-\frac{||x-z|{|}^2}{2{\sigma }^2})\text{\hspace{1em}(34)}$$

3.3 核函数的充要条件

设$K:\mathcal{X}\times \mathcal{X}\to \mathbf{R}$是对称函数，则$K(x,z)$为核函数的充要条件是对任意的$x_i\in \mathcal{X},i=1,\cdots ,m$，$K(x,z)$对应的Gram矩阵$$K=[K(x_i,x_j){]}_{m\times m}$$是半正定的。

四、对比

4.1 优缺点

• 优点：
  • 对异常值不敏感，因为只有支持向量起作用
  • 类别不平衡也可以用，只要支持向量平衡就行
  • 可用于非线性数据的分类
  • SVM在处理小规模样本的时候表现非常好
• 缺点：
  • 对大规模训练样本难以实施
  • 只能解决二分类问题
  • 当特征数很多时，速度会很慢
  • 对缺失值敏感

4.2 和逻辑回归的对比

SVM和逻辑回归的对比

参考：《统计学习方法》第2版 李航 著