机器学习算法——支持向量机(1)

阅读提示：文章中的斜体符号表示单个元素，加粗斜体表示向量。

1.前言

  支持向量机(support vector machines, SVM)也是一种二类分类模型，在前一篇文章中讲到，感知机的目标是求得一个能够将数据正确分类的分离超平面，而SVM则是要找到一个能将数据正确分类且间隔最大的分离超平面，即SVM不仅要找到一个分离超平面，而且要求以尽可能大的确信度将数据正确分类。SVM与感知机的另一个区别在于，当数据是线性可分的时候，感知机求得的分离超平面可能有无穷多个，而SVM有了间隔最大化的约束，最后求得的分离超平面解是唯一的。
  支持向量机可以分为3类，由简至繁分别为：线性可分支持向量机、线性支持向量机和非线性支持向量机，分别对应着数据线性可分、数据近似线性可分和数据线性不可分的情况。本文主要介绍第一种，即线性可分支持向量机，另外两种将在后续两篇文章中一一介绍。

2.函数间隔与几何间隔

  首先来说一下上文提到的间隔最大的含义。一般来说，一个点距离分离超平面的远近可以表示分类预测的确信程度。假设分离超平面为$\mathbf{w}\cdot \mathbf{x}+b$,则$|\mathbf{w}\cdot {\mathbf{x}}_i+b|$可以相对的表示为点${\mathbf{x}}_i$距离分离超平面的远近，而通过$\mathbf{w}\cdot {\mathbf{x}}_i+b$的符号与类标签$y_i$是否一致可以判断分类是否正确。所以可用${\hat{\gamma }}_i=y_i(\mathbf{w}\cdot {\mathbf{x}}_i+b)$来表示分类的正确性与确信度，这里的${\hat{\gamma }}_i$就是分离超平面关于样本点$({\mathbf{x}}_i,y_i)$的函数间隔，关于训练数据集$T$的函数间隔为$\hat{\gamma }=min{\hat{\gamma }}_i$。
  函数间隔可以表示分类的正确性与确信度，但是SVM使用的间隔最大并不是函数间隔最大，因为对于分离超平面$\mathbf{w}\cdot \mathbf{x}+b$，如果同比例地改变$\mathbf{w}$和$b$,比如改为$2\mathbf{w}$和$2b$,此时分离超平面并未改变，而函数间隔却变成了原来的2倍。为了解决这个问题，就有了几何间隔的概念。几何间隔在函数间隔的基础上对分离超平面加了个$||\mathbf{w}||$的约束，分离超平面关于样本点$({\mathbf{x}}_i,y_i)$几何间隔数学表达式为：${\gamma }_i=y_i(\frac{\mathbf{w}}{||\mathbf{w}||}\cdot {\mathbf{x}}_i+\frac{b}{||\mathbf{w}||})$，关于训练数据集$T$的几何间隔为$\gamma =min{\gamma }_i$。SVM所使用的正是几何间隔最大化。

3.线性可分支持向量机

  支持向量机学习的基本想法是求解能够正确划分训练数据集并且几何间隔最大的分离超平面。对于线性可分的数据，这里的间隔最大也叫硬间隔最大，与接下来的文章中将要讨论的数据近似线性可分时的软间隔最大相对应。

3.1 间隔最大化

  间隔最大化的直观解释：不仅要将正负实例点分开，而且对于最难分的实例点（离超平面最近的点）也有足够大的确信度将他们分开。
  求间隔最大分离超平面的问题可以表示为下面的约束最优化问题：
$$\begin{gathered} {}_{\mathbf{w},b}^{max}\gamma \\ s.t.y_i(\frac{\mathbf{w}}{||\mathbf{w}||}\cdot {\mathbf{x}}_i+\frac{b}{||\mathbf{w}||})\ge \gamma \end{gathered}$$
  考虑到函数间隔与几何间隔的关系:$\gamma =\frac{\hat{\gamma }}{||\mathbf{w}||}$，所以可以将上面的最优化问题改写为：
$$\begin{gathered} {}_{\mathbf{w},b}^{max}\frac{\hat{\gamma }}{||\mathbf{w}||} \\ s.t.y_i(\mathbf{w}\cdot {\mathbf{x}}_i+b)\ge \hat{\gamma } \end{gathered}$$
  如果将$\mathbf{w}和b$按比例改变为$\lambda \mathbf{w}和\lambda b$时，虽然这时的函数间隔也相应的会变成$\lambda \hat{\gamma }$，但是这个改变对上式的约束条件并没有影响，对上式的目标函数也没有影响，也就是说函数间隔$\hat{\gamma }$的取值并不影响最优化问题的解。这样，我们就可以取$\hat{\gamma }=1$，目标函数就变为了${}_{\mathbf{w},b}^{max}\frac{1}{||\mathbf{w}||}$，又由于最大化$\frac{1}{||\mathbf{w}||}$与最小化$\frac{1}{2}||\mathbf{w}|{|}^2$是等价的，所以就可对上面的约束问题再进行改写，这就得到了线性可分支持向量机学习的原始最优化问题：
$$\begin{gathered} {}_{\mathbf{w},b}^{min}\frac{1}{2}||\mathbf{w}|{|}^2 \\ s.t.y_i(\mathbf{w}\cdot {\mathbf{x}}_i+b)-1\ge 0 \end{gathered}$$
对这个最优化问题求解，可以求得最优的${\mathbf{w}}^{\ast }和b^{\ast }$，这样就得到了线性可分支持向量机模型。

3.2 支持向量

  在线性可分的情况下，训练数据的样本点中与分离超平面距离最近的样本点称为支持向量。如图1所示，实线即为分离超平面，${\mathbf{x}}_1=(3,3{)}^T和{\mathbf{x}}_3=(1,1{)}^T$即为支持向量，${\mathbf{x}}_1和{\mathbf{x}}_3$所在的虚线为间隔边界。

  在决定分离超平面时只有支持向量起作用，其他实例点并不起作用。如果移动支持向量将改变所求的解；但是移动甚至去掉不是支持向量的实例点，则解是不会改变的。由于支持向量在确定分离超平面中起着决定性作用，所以这类模型才叫做支持向量机。

4.学习的对偶算法

  我们将第3.1节给出的最优化问题称为原始最优化问题，在实际应用过程中，一般不直接对原始问题进行求解，而是通过拉格朗日对偶性，先求解对偶问题的解，进而求得原始问题的解，这便是线性可分SVM的对偶算法。这样做的原因有两个：

• 对偶问题往往更容易求解；
• 方便后面引入核函数，进而推广到非线性分类问题。

4.1 对偶问题的推导

  首先根据3.1节的原始最优化问题构建拉格朗日函数：
$$L(\mathbf{w},b,\mathbf{\alpha })=\frac{1}{2}||\mathbf{w}|{|}^2-\sum _{i=1}^N{\alpha }_i{y}_i(\mathbf{w}\cdot {\mathbf{x}}_i+b)+\sum _{i=1}^N{\alpha }_i$$
其中，$\mathbf{\alpha }=({\alpha }_1,{\alpha }_2,...,{\alpha }_N{)}^T$为拉格朗日乘子向量。
  根据拉格朗日对偶性，原始问题的对偶问题是极大极小问题：
$${}_{\mathbf{\alpha }}^{max}{}_{\mathbf{w},b}^{min}L(\mathbf{w},b,\mathbf{\alpha })$$所以，为了得到对偶问题的解，需要先求$L(\mathbf{w},b,\mathbf{\alpha })$对$\mathbf{w},b$的极小，再求对$\mathbf{\alpha }$的极大。
  （1）求${}_{\mathbf{w},b}^{min}L(\mathbf{w},b,\mathbf{\alpha })$
  将拉格朗日函数$L(\mathbf{w},b,\mathbf{\alpha })$分别对$\mathbf{w},b$求偏导并令其等于0：
$$\begin{gathered} {\nabla }_{\mathbf{w}}L(\mathbf{w},b,\mathbf{\alpha })=\mathbf{w}-\sum _{i=1}^N{\alpha }_i{y}_i{\mathbf{x}}_i=0 \\ {\nabla }_{b}L(\mathbf{w},b,\mathbf{\alpha })=-\sum _{i=1}^N{\alpha }_i{y}_i=0 \end{gathered}$$  可以得到：
$$\begin{gathered} \mathbf{w}=\sum _{i=1}^N{\alpha }_i{y}_i{\mathbf{x}}_i \\ \sum _{i=1}^N{\alpha }_i{y}_i=0 \end{gathered}$$
  将这两个式子带入拉格朗日函数可以得到：
$$\begin{gathered} L(\mathbf{w},b,\mathbf{\alpha })=\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_j({\mathbf{x}}_i\cdot {\mathbf{x}}_j)-\sum _{i=1}^N{\alpha }_i{y}_i((\sum _{j=1}^N{\alpha }_j{y}_j{\mathbf{x}}_j)\cdot {\mathbf{x}}_i+b)+\sum _{i=1}^N{\alpha }_i \\ =\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_j({\mathbf{x}}_i\cdot {\mathbf{x}}_j)-\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_j({\mathbf{x}}_i\cdot {\mathbf{x}}_j)-b\sum _{i=1}^N{\alpha }_i{y}_i+\sum _{i=1}^N{\alpha }_i \\ =-\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_j({\mathbf{x}}_i\cdot {\mathbf{x}}_j)+\sum _{i=1}^N{\alpha }_i \end{gathered}$$  即$${}_{\mathbf{w},b}^{min}L(\mathbf{w},b,\mathbf{\alpha })=-\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_j({\mathbf{x}}_i\cdot {\mathbf{x}}_j)+\sum _{i=1}^N{\alpha }_i$$  （2）求${}_{\mathbf{w},b}^{min}L(\mathbf{w},b,\mathbf{\alpha })$对$\mathbf{\alpha }$的极大，即：
$$\begin{gathered} {}_{\mathbf{\alpha }}^{max}-\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_j({\mathbf{x}}_i\cdot {\mathbf{x}}_j)+\sum _{i=1}^N{\alpha }_i \\ s.t.\sum _{i=1}^N{\alpha }_i{y}_i=0{\alpha }_i\ge 0 \end{gathered}$$  再将目标函数的求极大转换为求极小，就得到了线性可分支持向量机的对偶最优化问题表达式：
$$\begin{gathered} {}_{\mathbf{\alpha }}^{min}\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_j({\mathbf{x}}_i\cdot {\mathbf{x}}_j)-\sum _{i=1}^N{\alpha }_i \\ s.t.\sum _{i=1}^N{\alpha }_i{y}_i=0{\alpha }_i\ge 0 \end{gathered}$$

4.2 模型求解

  求解上面所推出的对偶问题，可以得到对偶问题的最优解${\mathbf{\alpha }}^{\ast }=({\alpha }_1^{\ast },{\alpha }_2^{\ast },...,{\alpha }_N^{\ast }{)}^T$。有了${\mathbf{\alpha }}^{\ast }$之后，就可以进一步求得3.1节的原始最优化问题的解${\mathbf{w}}^{\ast }和b^{\ast }$。${\mathbf{w}}^{\ast }$的求解在4.1节已经给出，即：
$${\mathbf{w}}^{\ast }=\sum _{i=1}^N{\alpha }_i^{\ast }{y}_i{\mathbf{x}}_i$$  下面来说一下$b^{\ast }$的求解。上式中的${\alpha }_i^{\ast }$必然不可能全是0，即至少有一个${\alpha }_j^{\ast }>0$。可以用反证法来证明，假设${\mathbf{\alpha }}^{\ast }=0$，则根据上式可得${\mathbf{w}}^{\ast }=0$，这显然不是原始问题的解，产生矛盾。根据KKT条件(具体可参考李航《统计学习方法》附录部分，需要pdf版的可以私聊获取)，对于所有的${\alpha }_i^{\ast }$有：
$${\alpha }_i^{\ast }(y_i({\mathbf{w}}^{\ast }\cdot {\mathbf{x}}_i+b^{\ast })-1)=0$$则对于${\alpha }_j^{\ast }>0$所对应的实例点$({\mathbf{x}}_j,y_j)$有：
$$y_j({\mathbf{w}}^{\ast }\cdot {\mathbf{x}}_j+b^{\ast })-1=0$$由于yj∈{+1,−1}y_j \in \{+1,-1\}yj​∈{+1,−1}，则有${y_j}^2=1$,所以对上式两边同时$y_j$可得：
$$b^{\ast }=y_j-\sum _{i=1}^N{\alpha }_i^{\ast }{y}_i({\mathbf{x}}_i\cdot {\mathbf{x}}_j)$$至此，线性可分支持向量机的模型求解就完成了。分离超平面可以写为：
$$\sum _{i=1}^N{\alpha }_i^{\ast }{y}_i({\mathbf{x}}_i\cdot \mathbf{x})+b^{\ast }=0$$分离决策函数可以写为：
$$f(\mathbf{x})=\text{sign}(\sum _{i=1}^N{\alpha }_i^{\ast }{y}_i({\mathbf{x}}_i\cdot \mathbf{x})+b^{\ast })$$

4.3 求解示例

5.参考资料

李航《统计学习方法》