每天5分钟快速玩转机器学习算法：带有核函数的支持向量机模型

本文重点

硬间隔和软间隔都是在说样本的完全线性可分或者大部分样本点的线性可分。但我们可能会碰到的一种情况是样本点不是线性可分的，比如：

 

那么这个时候支持向量机软硬不吃，此时要想解决这个问题，我们可以使用一种魔法，我们将他们映射到一个高维空间中，然后再高维空间中进行分割，那么就会出现这种情况：

 

那么通过这样的方式就线性可分了，那么如何才可以完成这么神奇的魔法呢？我们可以使用核函数：

什么是核函数

核函数：我们把这里的计算两个向量在隐式映射过后的空间中的内积的函数叫做核函数 (Kernel Function)，那么也就是高维映射之后的内积，那么我们为什么不直接计算内积呢？

我们将xi表示为原始数据，Φ(xi)为高维映射之后的数据

因为xi样本是一个向量，如果先映射到高维Φ(xi)，再向量Φ(xi)和向量Φ(xj)的内积计算，那么此时的计算量很大，但是如果有核函数就好了，那么我们可以直接使用核函数，没有必要先将xi映射到高维Φ(xi)，再点积，可以直接使用k(