支持向量机SVM(3)-非线性支持向量机与核函数

非线性支持向量机与核函数

本节包括以下内容

• 1.非线性分类问题
• 2.核函数的定义
• 3.核技巧在支持向量机中的应用
• 4.正定核   \; 核心问题:函数$K(x,z)$满足什么条件才能称为核函数？
• 5.常用核函数
• 6.非线性支持向量机学习算法

1.非线性分类问题

非线性分类问题是指通过利用非线性模型才能很好地进行分类的问题。下图是一个例子，下图的左图是一个分类问题，由下图可见，无法用直线(线性模型)将正负实例正确分开，但可以用一条椭圆曲线(非线性模型将它们正确分开)。
对于给定的一个训练数据集T={ (x1,y1),(x2,y2),⋯ ,(xN,yN)} T=\left\{\left(x_{1}, y_{1}\right),\left(x_{2}, y_{2}\right), \cdots,\left(x_{N}, y_{N}\right)\right\} T={ (x1​,y1​),(x2​,y2​),⋯,(xN​,yN​)}其中实例$x_i$属于输入空间，xi∈X=Rn,yi∈Y={ +1,−1},i=1,2,⋯ ,Nx_{i} \in \mathcal{X}=\mathbf{R}^{n}, \quad y_{i} \in \mathcal{Y}=\{+1,-1\}, \quad i=1,2, \cdots, Nxi​∈X=Rn,yi​∈Y={ +1,−1},i=1,2,⋯,N，$y_i$为$x_i$的类标记，如果能用$R^n$中的一个超曲面将正负实例正确分开，则称这个问题为非线性可分问题。

非线性分类问题的求解思路：进行一个非线性变换，将非线性问题变换为线性问题，通过解变换后的线性问题求解原来的非线性问题.对于上图中的例子，通过变换，将左图中椭圆变换成右图中的直线，将非线性分类问题变换为线性分类问题。
符号推导如下：
设原空间为$\mathcal{X}\subset {\mathbf{R}}^2,x={\left(x^{(1)},x^{(2)}\right)}^{\mathrm{T}}\in \mathcal{X}$，新空间为$\mathcal{Z}\subset {\mathbf{R}}^2,z={\left(z^{(1)},z^{(2)}\right)}^T\in \mathcal{Z}$，定义从原空间到新空间的变换(映射):$$z=\varphi (x)={\left({\left(x^{(1)}\right)}^2,{\left(x^{(2)}\right)}^2\right)}^{\mathrm{T}}$$
经过变换$z=\varphi (x)$，原空间$\mathcal{X}\subset {\mathbf{R}}^2$变换为新空间$\mathcal{Z}\subset {\mathbf{R}}^2$，原空间中的点相应地变换为新空间中的点，原空间中的椭圆
$$w_1{\left(x^{(1)}\right)}^2+w_2{\left(x^{(2)}\right)}^2+b=0$$
变换为新空间中的直线$$w_1{z}^{(1)}+w_2{z}^{(2)}+b=0$$在变换后的新空间中，直线$w_1{z}^{(1)}+w_2{z}^{(2)}+b=0$可以将变换后的正负实例点正确分开.这样，原空间中的非线性可分问题就变成了新空间中的线性可分问题.

2.核函数的定义

定义6(核函数) 设$\mathcal{X}$是输入空间(欧氏空间$R^n$的子集或离散集合)，又设$\mathcal{H}$为特征空间(希尔伯特空间)，如果存在一个$\mathcal{X}$到$\mathcal{H}$的映射$$\varphi (x):\mathcal{X}\to \mathcal{H}$$使得对所有$x,z\in \mathcal{X}$，函数$K(x,z)$满足条件
$$K(x,z)=\varphi (x)\cdot \varphi (z)$$则称$K(x,z)$为核函数，$\varphi (x)$为映射函数，式中$\varphi (x)\cdot \varphi (z)$为和$\varphi (z)$的内积。
以下为本节的最重要技术核技巧，核技巧巧妙地利用线性分类学习方法与核函数解决非线性问题的技术.
核技巧的思路：在学习和预测中只定义核函数$K(x,z)$，而不显式地定义映射函数$\varphi (x)$.通常，直接计算$K(x,z)$比较容易，而通过$\varphi (x)$和$\varphi (z)$计算$K(x,z)$并不容易.注意，$\varphi (x)$是输入空间