线性SVM，线性可分SVM与核函数

SVM即支持向量机（support vector machine），是一种分类算法。SVM 适合中小型数据样本、非线性、高维的分类问题。它将实例的特征向量映射为空间中的一些点。如：

而SVM要做的事情就是找到那么一条线， “最好地” 区分这两类点，以后有了新的点，这条线也能做出很好的分类。划分的线是可以有无数条的。

那么哪一条线是最好的呢。SVM 将会寻找可以区分两个类别并且能使间隔（margin or gap）最大的划分超平面。比较好的划分超平面，样本局部扰动时对它的影响最小、产生的分类结果最鲁棒、对未见示例的泛化能力最强。

对于任意一个超平面，其两侧数据点都距离它有一个最小距离（垂直距离），这两个最小距离的和就是间隔。比如下图中两条虚线构成的带状区域就是 gap，虚线是由距离中央实线最近的两个点所确定出来的（也就是由支持向量决定）。

从上图可以看出，虚线上的点到划分超平面的距离都是一样的，实际上只有这几个点共同确定了超平面的位置，因此被称作 “支持向量（support vectors）”，“支持向量机” 也是由此来的。

线性SVM

对于这个划分的超平面，我们可以给一个方程：

其中为各个特征的权值。为列向量。b为位移值。

点到面的距离为

那么很明显有