支持向量机算法（三）：非线性支持向量原理层层拆解，精读公式每一处细节

支持向量机算法（一）：像讲故事一样讲明白它的原理及实现奥秘-优快云博客

支持向量机算法（二）：层层拆解，精读公式每一处细节-优快云博客

支持向量机算法（一）、算法（二）学习了什么是支持向量机、线性可分支持向量机、线性支持向量机，本次学习非线性支持向量机。

在线性支持向量机模型中，通过引入松弛因子可以让少量噪声样本也能正确分类并得到最优超平面，用线性超平面将非线性数据集近似分离。然而，这些被战略性“放弃”的样本是少数样本，被认为是噪声或是一种扰动。如果数据集中两种类别的大部分样本都是混叠在一起，那么采用这种方法得到的模型效果就不佳了。此时，要采用核函数映射的方法将低维空间映射到高维空间，将低维空间中的非线性问题转化为高维空间中的线性问题。

因此，非线性支持向量机模型为“核函数映射+线性支持向量机模型”，即在核函数映射后的数据集上训练线性支持向量机模型。 核函数映射的技巧在于不显式地定义映射函数，而是通过寻找一个核函数k(·,·)，使得通过核函数映射后的结果等价于样本通过映射函数后在特征空间的内积。即核技巧实际是将特征映射与内积两步运算压缩在一起，而不关心具体的映射函数本身是哪种形式。

☀我们该如何理解这段话呢？

（1）从映射说起
想象你有一些玩具（这些玩具就像是原始数据），它们在一个小盒子（低维空间）里摆放着。你想把这些玩具放到一个大仓库（高维空间）里，并且摆放的方式要更有规律，这样才能更好地分类或者做其他操作。这个把玩具从盒子放到仓库并且重新摆放的过程就像是映射函数。
以前呢，我们得先想好怎么把玩具从盒子拿到仓库，并且要清楚地告诉别人每个玩具在仓库里放在哪儿，这就是明确地定义映射函数。比如，你要把一个小方块玩具从盒子里拿到仓库，并且规定它在仓库的第三排第五列第二层（这就像定义了映射函数后，知道样本在高维空间的位置）。
（2）核函数的特别之处
现在有了核函数，就好像有了一个魔法盒子。你不需要知道玩具在大仓库里具体是怎么摆放的（不需要知道映射函数）。
这个魔法盒子有个神奇的功能，你只要把两个玩具的名字（原始样本）告诉它，它就能直接告诉你这两个玩具在大仓库里如果按照某种神秘规则摆放后，它们离得有多近（通过核函数计算得到的结果等价于在高维空间中的内积）。
比如，有两个玩具叫小熊和小兔子，你把它们的名字告诉魔法盒子（核函数），魔法盒子就会告诉你一个数字，这个数字就代表了如果把小熊和小兔子放到大仓库里，它们之间的一种亲密程度（在高维特征空间中的内积）。
（3）为什么这样做很好
要是用以前的方法，你得先把小熊和小兔子按照复杂的规则放到大仓库里（计算映