支持向量机详细解释

支持向量机

简介

支持向量机是一种二类分类模型，它的基本模型是定义在特征空间上的间隔最大的线性分类器，其学习策略就是间隔最大化，支持向量机学习方法包含构建由简至繁的模型：线性可分支持向量机，线性支持向量机以及非线性支持向量机。当训练数据线性可分时，通过硬间隔最大化(hard margin maximization),学习一个线性的分类器，即线性可分支持向量机，又称为硬间隔支持向量机;当训练数据近似线性可分时，通过软间隔最化(soft margin maximization)，也学习-一个线性的分类器，即线性支持向量机，又称为软间隔支持向量机;当训练数据线性不可分时，通过使用核技巧(kernel trick)及软间隔最大化，学习非线性支持向量机.

线性可分支持向量机

给定线性可分训练数据集，通过间隔最大化或等价的求解相应的凸二次规划问题学习得到的分离超平面为

$w^{\ast }\cdot x+b^{\ast }=0$

分类决策函数是

$f(x)=\mathrm{sign}\left(w^{\ast }\cdot x+b^{\ast }\right)$​

称为线性可分支持向量机

以下当$y_i$为+1时为正例，$y_i$为-1时为负例。

训练数据集线性可分，这时有许多直线能将两类数据正确划分。线性可分支持向量机对应着将两类数据正确划分并且间隔最大化的直线

函数间隔与几何间隔

函数间隔

定义：对于给定的训练数据集T和超平面$\left(w,b\right)$，定义超平面$\left(w,b\right)$关于样本点$\left(x_i,y_i\right)$的函数间隔为

${\hat{\gamma }}_i=y_i\left(w\cdot x_i+b\right)$​

定义超平面$\left(w,b\right)$关于训练数据集 $T$ 的函数间隔为超平面 $\left(w,b\right)$关于 $T$ 中所有样本点$\left(x_i,y_i\right)$ 的函数间隔之最小值，即

$\hat{\gamma }={\min }_{i=1,\cdots ,N}{\hat{\gamma }}_i$

一般来说，一个点距离分离超平面的远近可以表示分类预测的确信程度.在超平面$w\cdot x+b=0$确定的情况下，$\mid w\cdot x+b\mid$能够相对地表示点x距离超平面的远近.而$w\cdot x+b$ 的符号与类标记y的符号是否一-致能够表示分类是否正确，所以可用量$y_i\left(w\cdot x_i+b\right)$来表示分类的正确性及确信度，这就是函数间隔( functional margin)的概念.

但在选择分离超平面时，只有函数间隔还不够，因为只要成比例的改变w和b,例如将它们改为2w和2b,超平面并未改变，但函数间隔却变为了原来的2倍，于是我们对分离超平面的法向量进行规范化，$\Vert w\Vert =1$​​ 使间隔确定，这时函数间隔成为几何间隔。

几何间隔

定义：对于给定的训练数据集T和超平面$\left(w,b\right)$，定义超平面$\left(w,b\right)$关于样本点$\left(x_i,y_i\right)$​的几何间隔为

${\gamma }_i=y_i\left(\frac{w}{\Vert w\Vert }\cdot x_i+\frac{b}{\Vert w\Vert }\right)$​

定义超平面$\left(w,b\right)$关于训练数据集 $T$ 的几何间隔为超平面 $\left(w,b\right)$关于 $T$ 中所有样本点$\left(x_i,y_i\right)$​ 的几何间隔之最小值，即

$\gamma ={\min }_{i=1,\cdots ,N}{\gamma }_i$​

如果超平面参数w和b成比例地改变（超平面没有变），函数间隔也按此比例改变，而几何间隔不变。

间隔最大化

支持向量机的基本想法是求解能够正确划分训练数据集并且几何间隔最大的分离超平面。几何间隔最大的超平面意味着以充分大的确信度对训练数据进行分类。也就是说，不仅将正负实例点分开，而且对最难分的实例点（离超平面最近的点）也有足够大的确信度将它们分开。这样的超平面应该对未知的新实例有很好的分类预测能力。这里我们先讨论硬间隔最大化。

最大间隔分离超平面

下面考虑如何求得一个几何间隔最大的分离超平面，具体表述为下面的约束最优化问题：

${\max }_{w,b}\gamma$​
s.t. $y_i\left(\frac{w}{\Vert w\Vert }\cdot x_i+\frac{b}{\Vert w\Vert }\right)⩾\gamma ,i=1,2,\cdots ,N$​

即最大化几何间隔，并且约束所有的训练样本点的几何间隔都不小于$\gamma$.

考虑几何间隔和函数间隔的关系，可将问题改写为：

${\max }_{w,b}\frac{\hat{\gamma }}{\Vert w\Vert }$​
s.t. $y_i\left(w\cdot x_i+b\right)⩾\hat{\gamma },i=1,2,\cdots ,N$​

函数间隔 $\hat{\gamma }$​ 的取值并不影响最优化问题的解.事实上，假设将w和b按比例改变为2w和2b，这时函数间隔成为 $\lambda \hat{\gamma }$​ .函数间隔的这一改变对 上面最优化问题的不等式约束没有影响，对目标函数的优化也没有影响，也就是说，它产生一个等价的最优化问题.这样，就可以取 $\hat{\gamma }$​ =1.将 $\hat{\gamma }$​ =1代入上面的最优化问题，注意到最大化$\frac{1}{\Vert w\Vert }$​和最小化 $\frac{1}{2}\Vert w{\Vert }^2$​ 是等价的，于是就得到下面的线性可分支持向量机学习的最优化问题:

${\min }_{w,b}\frac{1}{2}\Vert w{\Vert }^2$​

s.t. $y_i\left(w\cdot x_i+b\right)-1⩾0,i=1,2,\cdots ,N$​

这是一个凸二次规划问题，即约束最优化问题：
$$\begin{array}{rl}& \underset{\alpha }{\min }f(w)\\ & \text{ s.t. }{g}_i(w)\le 0,i=1,2,\dots ,k.\\ & h_i(w)=0,i=1,2,\dots ,l.\end{array}$$
其中$f(w)$,$g_i(w)$ 为凸函数，$h_i(w)$为仿射函数（满足$f(x)=wx+b$)​

由此可求得超平面和决策函数：

$w^{\ast }\cdot x+b^{\ast }=0$

$f(x)=\mathrm{sign}\left(w^{\ast }\cdot x+b^{\ast }\right)$

支持向量和间隔边界

在线性可分情况下，训练数据集的样本点中与分离超平面距离最近的样本点的实例称为支持向量(support vector).支持向量是使约束条件式等号成立的点，即：

$y_i\left(w\cdot x_i+b\right)-1=0$

如下图虚线上的点就是支持向量

两条虚线之间的距离成为间隔。间隔依赖于分离超平面的法向量 $w$ ,等于 $\frac{2}{\Vert w\Vert }$ .两条虚线成为间隔边界。

支持向量决定分离超平面，而其他实例点不起作用。支持向量的个数一般很少，所以支持向量由很少的“重要的”训练样本决定。

以下给出一个求最大间隔分离超平面的例子：

拉格朗日对偶问题

详细可见：

[https://blog.youkuaiyun.com/qq_46618854/article/details/122165201]:

拉格朗日乘子法:

• 第一步: 引入拉格朗日乘子 ${\alpha }_i\ge 0$ 得到拉格朗日函数
  $$L(\mathbf{w},b,\mathbf{\alpha })=\frac{1}{2}\Vert \mathbf{w}{\Vert }^2-\sum _{i=1}^m{\alpha }_i\left(y_i\left({\mathbf{w}}^{\top }{\mathbf{x}}_i+b\right)-1\right)$$
• 第二步: 令 $L(w,b,\alpha )$ 对 $w$ 和 $b$ 的偏导为零:
  $$\mathbf{w}=\sum _{i=1}^m{\alpha }_i{y}_i{\mathbf{x}}_i,\sum _{i=1}^m{\alpha }_i{y}_i=0.$$
• 第三步: $w,b$ 回代到第一步:

$$\begin{array}{rl}& \underset{\alpha }{\min }\frac{1}{2}\sum _{i=1}^m\sum _{j=1}^m{\alpha }_i{\alpha }_j{y}_i{y}_j{\mathbf{x}}_i^{\top }{\mathbf{x}}_j-\sum _{i=1}^m{\alpha }_i\\ & \text{ s.t. }\sum _{i=1}^m{\alpha }_i{y}_i=0,{\alpha }_i\ge 0,i=1,2,\dots ,m.\end{array}$$

等价于：
max ⁡ α ∑ i = 1 m α i − 1 2 ∑ i = 1 m ∑