【机器学习】支持向量机(四)----核技巧的应用与核函数

说完训练数据线性可分(近似可分)，我们就该考虑考虑训练数据非线性可分的情况了，非线性问题往往并不好求解，所以我们希望能用解线性分类问题的方法来解决这个问题。因此我们需要将非线性问题转化为线性问题，通过解转化后的线性问题的方法求解原来的非线性问题。

比如上面左边的图中，训练数据无法用直线(线性模型)将正负实例点正确分开，但用了一条椭圆曲线(非线性模型)可以将它们正确分开。我们将这左图中坐标$x^{(1)}$，$x^{(2)}$做一个变换，映射到新的空间中体现，就出现了右图，很明显，通过映射在新空间的训练数据可以被线性模型正确分开。

【映射函数】

我们定义$Φ(x):\mathcal X\to \mathcal H$为映射函数，$z=Φ(x)$表示将数据从原空间映射到新空间的。
如：$Φ(x)=(x,x^2,x^3)^T$，一维映射到三维
$Φ(x)=({x^{(1)}}^2,\sqrt{2}x^{(1)}x^{(2)},{x^{(2)}}^2)^T$，二维映射到三维
$Φ(x)=({x^{(1)}}^2,x^{(1)}x^{(2)},x^{(1)}x^{(2)},{x^{(2)}}^2)^T$，二维映射到四维

对于上图来说我们可以定义$z=Φ(x)=({x^{(1)}}^2,{x^{(2)}}^2)^T$。
经过变换，原空间$\mathcal X\subset R^2$，$x=({x^{(1)}},{x^{(2)}})\in \mathcal X$变换为新空间$\mathcal Z \subset R^2$，$z=({z^{(1)}},{z^{(2)}})^T$
原空间中的椭圆:$w_1{x^{(1)}}^2+w_2{x^{(2)}}^2+b=0$
变换为新空间的直线:$w_1z^{(1)}+w_2z^{(2)}+b=0$

【核函数】

定义

设$\mathcal X$是输入空间(欧式空间