支持向量机SVM(4)——核函数

接前面所讲博客，我们知道了当数据理想线性可分的话我们可以用硬间隔的方式解决，即使出现了噪声，软间隔依旧能够处理，但是这些的前提都是数据是线性可分的，但是在现实任务中，原始样本空间可能并不是线性可分的。
对于这类非线性分类问题的一种解决方法是：首先使用一个变换将原始空间中的数据映射到新空间；然后在新空间里用线性分类学习方法学习分类模型。这也是核函数的做法。

首先回顾一下我们的优化问题：
$$\{\begin{array}{l}ma{x}_{\lambda }(-\frac{1}{2}{\sum }_{i=1}^N{\sum }_{j=1}^N{\lambda }_i{\lambda }_j{y}_i{y}_j{x}_i^T{x}_j+{\sum }_{i=1}^N{\lambda }_i)\\ s.t.0\le {\lambda }_i\le C\\ {\sum }_{i=1}^N{\lambda }_i{y}_i=0\end{array}$$
令$\varphi (x)$表示找到的一种变换（映射），于是我们的问题可以写成：
$$ma{x}_{\lambda }(-\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\lambda }_i{\lambda }_j{y}_i{y}_j\varphi (x_i{)}^T\varphi (x_j)+\sum _{i=1}^N{\lambda }_i)$$
因为$x_i，x_j$映射后的样本空间维数可能很高，甚至可能是无穷维，因此直接计算$\varphi (x_i{)}^T\varphi (x_j)$通常是困难的。为了解决这个问题，我们可以先设：
$$k(x_i,x_j)=\varphi (x_i{)}^T\varphi (x_j)$$
即我们希望把映射后的特征空间的内积$\varphi (x_i{)}^T\varphi (x_j)$转换为在原始样本空间中通过函数$k(x_i,x_j)$来计算，相当于达到了降维计算的目的。并且$k(x_i,x_j)$也称为核函数（kernel function）。

常见的核函数如下：