支持向量机SVM（2）之核函数

在上一篇中，一切的推导都是基于上图这种类型，建立在数据分布是线性可分的情况，然而很多情况下都不是线性可分的。例如下图这种情况。

从图中可以看出，无论哪一条线都无法将两类点分开。这个时候就要引入核函数的概念了。

三、核函数

上一篇文章中最后推导得到了：

现在我们把它们带入到分界方程：

如果我们已经求出了α与b，那么y可以写成仅仅依赖xi与xj的矢量积形式，这一点非常关键。很多时候我们需要从数据中挖掘出新的特征来进行训练，而不是简单粗暴的使用原始数据，比如我们从x中挖掘出新的特征x平方，我们需要再一步一步推导y的表达式吗？只需要将<xi，x>换成<（xi）2，x2>（平方形式）就可以。

整个过程很流畅，φ（x）可以将数据从低维空间映射到高维空间中，为分类提供了新的视角。如下图所示：

在以为空间中是，两种点无法分开，但是通过φ（x）=（x，0.5x*x+2）映射到二维空间后，很容易找到分界线将这些不同的点分开。低维映射到高维使得线性可分成为可能。考虑到m<<n，这引起一个问题就是随着维数的增大计算量迅速变大，如何简化操作呢。在这里引入核函数：

通过映射函数，我们能从原始数据中（低维空间）抽象出所需的特征