支持向量机（下）

上两篇博客分别介绍了线性可分支持向量机，线性支持向量机，那么这篇博客为大家简要介绍非线性支持向量机。

我们知道，对于线性不可分的数据，线性分类器是不可能将其分开的，但我们往往可以利用一条曲线或者是一个曲面将其分开。此时我们就说这是一个非线性可分的问题。对于这类问题，我们该如何解决呢？其实，想法也很简单，我们只需要将低维输入空间中的样本通过非线性映射映射到高维特征空间，样本在高维空间中近似线性可分即可，我们便可以在高维空间中构造线性支持向量机来对样本点进行分类。也许这么说并不是很直观明了，那么我们看下图：

在一维空间上有三个样本点，其中为正例，另外两个黄色空心样本点为负例，我们如何能够用一个线性分类器将其分开呢，显然是不行的，那么我们做如下变换，我们按照如下规则对上述样本点进行变换，，则样本从一维空间上升到了二维空间，如下图所示：

显然我们很容易找到一条直线将两类样本点分开，这样我们便将原低维空间中的线性不可分问题转换为了高维空间线性可分问题。

所以用线性分类的方法求解非线性问题总共可以分为两步：

1. 将原输入空间中的特征通过非线性映射映射到新的高维特征空间中
2. 在新的空间中构造线性分类器

说到这里，我们便引出了核技巧这一概念，上述操作就属于核技巧的基本思想。

所以，核技巧的基本想法就是，使得输入空间对应一个高维特征空间，在输入空间中的超曲面对应于特征空间中的超平面。

为了实现核技巧，我们引出核函数的概念：

实际上核函数代表了在高维空间中向量内积的结果，其降低了高维空间中内积运算的复杂度。

接下来给出核函数的严格定义：

设为输入空间，为特征空间。如果存在一个从输入空间到特征空间的映射，使得对所有的，函数满足条件