我们一块来学SVM支持向量机

支持向量机（support vector machines，SVM）是一种二分类模型，它将实例的特征向量映射为空间中的一些点，SVM 的目的就是想要画出一条线，以 “最好地” 区分这两类点，以至如果以后有了新的点，这条线也能做出很好的分类。SVM 适合中小型数据样本、非线性、高维的分类问题。

支持向量

1.线性可分

在分类问题中，最简单的分类就是二分类问题，而且这个二分类问题是一个线性可分问题。
在一维空间，也就是一个坐标轴上面，要分开两个可以分开的点集合，我们只需要找到一个点，如图1：
图1 一维线性可分示意图

在二维空间中，要分开两个线性可分的点集合，我们需要找到一条分类直线即可，如图2：

图2 二维线性可分示意图

在三维空间中，要分开两个线性可分的点集合，我们需要找到一个分类面:如图3：

图3 三维线性可分示意图

数学定义：
$D_0$和 $D_1$ 是 n 维欧氏空间中的两个点集。如果存在 n 维向量 w 和实数 b，使得所有属于 $D_0$的点 $x_i$都有 $w{x}_i+b>0$ ，而对于所有属于 $D_1$ 的点 $x_j$ 则有 $w{x}_j+b<0$，则我们称 $D_0$和 $D_1$ 线性可分。

2.最大间隔超平面

从二维扩展到多维空间中时，将$D_0$和 $D_1$完全正确地划分开的 $w{x}_i+b=0$就成了一个超平面。

为了使这个超平面更具鲁棒性，我们会去找最佳超平面，以最大间隔把两类样本分开的超平面，也称之为最大间隔超平面。

两类样本分别分割在该超平面的两侧；
两侧距离超平面最近的样本点到超平面的距离被最大化了。

3.最优化问题

样本中距离超平面最近的一些点，这些点叫做支持向量。

SVM 想要的就是找到各类样本点到超平面的距离最远，也就是找到最大间隔超平面。任意超平面可以用下面这个线性方程来描述：

$W^{T}x+b=0$

二维空间点$(x,y)$到直线 $Ax+By+C=0$的距离公式是：

$\frac{|Ax+By+C|}{\sqrt{A^2+B^2}}$

扩展到 n 维空间后，点$x=(x_1,x_2...x_n)$到直线 $w^{T}x+b=0$ 的距离为：

$\frac{|w^{T}x+b|}{||w||}$

其中$||w||=\sqrt{w_1^2+...w_n^2}$。

如图所示，根据支持向量的定义我们知道，支持向量到超平面的距离为 d，其他点到超平面的距离大于 d。

于是可以导出这个公式

$\{\begin{array}{l}\frac{|w^{T}x+b|}{||w||}\ge d,y=+1\\ \frac{|w^{T}x+b|}{||w||}\le d,y=-1\end{array}$

y代表最大间隔超平面分割的两个类。

稍作转化可以得到：

$\{\begin{array}{l}\frac{|w^{T}x+b|}{||w||d}\ge 1,y=+1\\ \frac{|w^{T}x+b|}{||w||d}\le -1,y=-1\end{array}$

$||w||d$是正数，我们暂且令它为 1（之所以令它等于 1，是为了方便推导和优化，且这样做对目标函数的优化没有影响），故：

$\{\begin{array}{l}{w}^{T}x+b\ge 1,y=+1\\ w^{T}x+b\le -1,y=-1\end{array}$

将两个方程合并，我们可以简写为：

$y(w^{T}x+b)\ge 1$

至此我们就可以得到最大间隔超平面的上下两个超平面：

每个支持向量到超平面的距离可以写为：

$d=\frac{|w^{T}x+b|}{||w||}$

由上述 $y(w^{T}x+b)>1>0$可以得到 $y(w^{T}x+b)=|w^{T}x+b|$ ，所以我们得到：

$d=\frac{y(w^{T}x+b)}{||w||}$

最大化这个距离：

$max2\ast \frac{y(w^{T}x+b)}{||w||}$

这里乘上 2 倍其实就是margin,方便后续计算。刚刚我们得到支持向量 [公式] ，所以我们得到：

$max\frac{2}{||w||}$

再做一个转换：

$min\frac{||w||}{2}$

为了方便计算（去除 $||w||$的根号），我们有：

$min\frac{||w|{|}^2}{2}$

所以得到的最优化问题是：

$min\frac{||w|{|}^2}{2}s.t.y_i(w^T{x}_i+b)\ge 1$

未完待续--------------------

参考文章

SVM清晰讲解——线性可分问题

【机器学习】支持向量机 SVM（非常详细）

机器学习算法（一）SVM

SVM简介w3c