支持向量机（一）

基本理念

支持向量机（SVM，support vector machines）是一种二分类模型。它的基本思想是通过给定的数据找到一条线，这条线尽可能的将数据的正例和负例分开，并且每类数据点到这条线的距离最远。如图1所示，直线 $w\cdot x+b=0$ 将正样本点（用"o"表示）和负样本点（用"x"表示）分开。其中$w$可以把它理解为直线的斜率，代表了直线的方向，$b$表示了直线与$y$轴的截距，确定了直线的位置。由高中数学可知将直线两侧的点带入直线方程所得到的结果的符号是不同的，因此我们只需要根据已有样本点确定直线的方程，那么对于新来的样本点，只需要将该点带入直线方程并判断正负，就可以达到分类的效果。

图1 直线将正样本点和负样本点分开

那么我们怎么根据已有的样本点来确定直线方程呢？这还是要用到我们一开始的分类思想：

1. 将样本点分开。
2. 使每类样本点到直线的距离尽可能远。

其中第一个条件很好理解，那么我们为什么要使每类样本点到直线的距离最远呢？其实这很好理解，如图2所示，点A，B，C均为正例样本点，A距离直线的距离较远，那么我们就有足够的把握认为它属于正例，B距离直线近一点，那么我们认为它属于正例的概率就相应小一点，C距离直线最近，我们认为它属于正例的把握也最小。因此，选取直线时，我们应该使所有的正（负）样本点距离直线的距离最远，这样我们认为我们模型的准确度是最大的。

图2 二类分类问题

距离的度量

有了上面的理念之后，接下来自然想到如何度量这种间隔的大小。这里我们首先引入函数间隔的概念。
给定一个训练数据集 T = { ( x 1 , y 1 ) , ( x 2 , y 2 ) , . . . , ( x n , y n ) } T =\{(x_1,y_1),(x_2,y_2),...,(x_n,y_n)\} T={(x1​,y1​),(x2​,y2​),...,(xn​,yn​)}其中，$x_i$为n维向量，是输入的特征向量，$y_i$为输出，为正例$y_i=1$，为负例时$y_i=-1$。定义超平面$w\cdot x+b=0$关于样本点$(x_i,y_i)$的函数间隔为$${\hat{\gamma }}_i=y_i(w\cdot x_i+b)$$这个公式很好理解，点$(x_i,y_i)$在超平面上则有$w\cdot x_i+b=0$，点$(x_i,y_i)$距离超平面越远，则$w\cdot x_i+b$的绝对值越大。若直线刚好可以将正负样本点分开，则$(x_i,y_i)$为正例时$w\cdot x_i+b>0$，为负例时$w\cdot x_i+b<0$。因此$w\cdot x_i+b$前面乘以$y_i$，就可以保证${\hat{\gamma }}_i$总是为非负数，这样我们只需要让${\hat{\gamma }}_i$尽可能大即可。
定义超平面$w\cdot x+b=0$关于整个数据集$T$的函数间隔$\hat{\gamma }$为各个点函数间隔的最小值，即$$\hat{\gamma }=mi{n}_{i=1,...,n}\widehat{{\gamma }_i}$$函数间隔虽然理解起来比较简单，但是它存在着一个缺陷：如果我们成比例的改变$w$和$b$，例如将$w$改成$2w$，将$b$改成$2b$，则超平面的方程不变，而${\hat{\gamma }}_i$的值会变大，这就导致了较大的${\hat{\gamma }}_i$不一定代表较好的分离超平面（一些不好的分离超平面，只要$w$和$b$的值够大，${\hat{\gamma }}_i$同样可以很大）。因此我们想到对分离超平面的法向量$w$增加某些约束，使得相同的超平面对应的间隔也是确定的。
我们采用规范化的方式来达到这一目的。将函数间隔中的$w$和$b$同时除以$||w||$，即${\gamma }_i=y_i(w/||w_i||\cdot x_i+b/||w_i||)$，则当$w$和$b$同比例增加时，${\gamma }_i$保持不变。
上诉公式$${\gamma }_i=y_i(\frac{w}{||w_i||}\cdot x_i+\frac{b}{||w_i||})$$即为几何间隔的定义。其中$||w||$为$w$的$L_2$范数。
同样的，我们定义$$\gamma =mi{n}_{i=1,...n}{\gamma }_i$$为超平面$w\cdot x+b=0$关于整个数据集$T$的几何间隔。
几何间隔${\gamma }_i$表示样本点$(x_i,y_i)$与超平面$w\cdot x+b=0$的带符号的距离。若某一样本点未被正确分类，则${\gamma }_i$为负值，否则，${\gamma }_i$为正值。
从函数间隔与几何间隔的定义可以看出，函数间隔与几何间隔有如下关系：$${\gamma }_i=\frac{{\hat{\gamma }}_i}{||w||}$$$$\gamma =\frac{\hat{\gamma }}{||w||}$$如果$||w||=1$，则函数间隔和几何间隔相等。

间隔最大化

有了距离的度量标准，下一步要做的就是使样本点到超平面的距离最大。由上面的讨论可知，我们要做的是使几何间隔最大。假定我们的样本是线性可分的，即存在超平面$w\cdot x+b=0$将样本的正例和负例正确分开。那么我们的直观想法就是最大化各样本点关于超平面$w\cdot x+b=0$的几何间隔的最小值，这一想法可以表达成一个约束最优化问题：$$ma{x}_{w,b}\gamma$$$$s.t.y_i(\frac{w}{||w_i||}\cdot x_i+\frac{b}{||w_i||})\ge \gamma ,i=1,2,...,n$$约束条件保证了$\gamma$为数据集$T$中所有样本点关于超平面$w\cdot x+b=0$的最小值，而我们要改变参数$w$和$b$的值，使得该值最大。这里注意，由于样本是线性可分的，因此最大的$\gamma$一定是正值，这就保证了所有的${\gamma }_i$也是正值，因此所找到的超平面一定可以将样本点正确分开。
考虑到$\gamma =\hat{\gamma }/||w||$，可以将上式改写成$$ma{x}_{w,b}\frac{\hat{\gamma }}{||w||}$$$$s.t.y_i(w\cdot x_i+b)\ge \hat{\gamma },i=1,2,...,n$$$\hat{\gamma }$的取值不会影响上述最优化问题的求解。假设将$\hat{\gamma }$变成$\lambda \hat{\gamma }$，鉴于$w$和$b$都是变量，改变他们的值对优化问题没有影响，我们可以将变量$w$和$b$分别变成$\lambda w$和$\lambda b$，这样，目标函数没有变化，约束条件也没有变化，因此改变后的约束问题和原约束问题是等价的。
为了方便，我们取$\hat{\gamma }=1$，带入上面的最优化问题，并注意到最大化$\frac{1}{||w||}$和最小化$\frac{1}{2}||w||$是等价的，于是得到下面的线性可分支持向量机学习的最优化问题：
$$mi{n}_{w,b}\frac{1}{2}||w|{|}^2$$$$s.t.y_i(w\cdot x_i+b)-1\ge 0,i=1,2,...,n$$该优化问题的目标函数是在$R^n$上连续可微的凸函数，且约束函数是线性的，因此上述最优化问题为一个凸二次规划问题。求出该最优化问题的解$w^{\ast }$、$b^{\ast }$，就可以得到最大间隔分离超平面$w^{\ast }\cdot x+b^{\ast }=0$和分类决策函数$f(x)=sign(w^{\ast }\cdot x+b^{\ast })$

支持向量和间隔边界

接下来解释一下支持向量和间隔边界的概念。在线性可分的情况下，训练数据集中的样本点中与分离超平面最近的样本点的实例称为支持向量。由支持向量的定义可知支持向量$(x_i,y_i)$满足$$y_i(w\cdot x_i+b)=1$$对于$y_i=+1$的实例点，支持向量在超平面$$H_1:w\cdot x+b=1$$上，对于$y_i=-1$的样本点，支持向量在超平面$$H_2:w\cdot x+b=-1$$上。注意到$H_1$和$H_2$是平行的，并且没有样本点落在它们中间，分离超平面与它们平行且位于它们中央。不难算出，$H_1$和$H_2$之间的距离为$\frac{2}{||w||}$，此即为间隔。

图3 支持向量与间隔

由以上的分析可知，分离超平面只与少数的支持向量有关，改变除支持向量以外的其他点并不会对分离超平面产生影响。由于支持向量在确定分离超平面中起决定性作用，因此将这种分类模型称为支持向量机。

以上介绍的是最简单的支持向量机方法，采用的是硬间隔最大化，可用于线性可分数据集。对于线性不可分的数据集，要采用软间隔最大化的方法。

参考文献¹

---

1. 李航. 统计学习方法. 北京：清华大学出版社，2019. ↩︎