本文探讨了在面对非线性可分数据时，如何通过非线性转换将原始特征空间映射到高维空间，使数据变得线性可分。介绍了基本的非线性转换方法，如二次假设集和多项式假设集，并讨论了非线性转换的代价，即随着转换复杂度增加，模型的VC维度和训练误差的变化。
非线性转换（Nonlinear Transformation）
前面讲了许多线性模型，但是假如数据并不是线性可分的，该如何处理呢？基本思路是将数据样本（特征）空间 X\mathcal{X}X 映射到 Z\mathcal{Z}Z 空间后，在 Z\mathcal{Z}Z 空间数据是线性可分的话，便可以在 Z\mathcal{Z}Z 空间上使用线性模型对数据分析。
那么该映射叫做非线性特征转换 Φ\PhiΦ（(nonlinear) feature transform ）实现的是：
x∈X⟼Φz∈Z \mathbf { x } \in \mathcal { X } {\mathop \longmapsto ^ \mathbf { \Phi }} \mathbf { z } \in \mathcal { Z } x∈X⟼Φz∈Z
学习的基本步骤如下：
- transform original data { (xn,yn)}\left\{ \left( \mathbf { x } _ { n } , y _ { n } \right) \right\}{ (xn,yn)} to { (zn=Φ(xn),yn)}\left\{ \left( \mathbf { z } _ { n } = \mathbf { \Phi } \left( \mathbf { x } _ { n } \right) , y _ { n } \right) \right\}{ (zn=Φ(xn),yn)}
- get a good perceptron w~\tilde { \mathbf { w } }w~ using { (zn=Φ(xn),yn)}\left\{ \left( \mathbf { z } _ { n } = \mathbf { \Phi } \left( \mathbf { x } _ { n } \right) , y _ { n } \right) \right\}{ (zn=Φ(xn),yn)} and your favorite linear classification algorithm A\mathcal{A}A。
- return g(x)=sign(w~TΦ(x))g ( \mathbf { x } ) = \operatorname { sign } \left( \tilde { \mathbf { w } } ^ { T } \mathbf { \Phi } ( \mathbf { x } ) \right)g(x)=sign(w~TΦ(x))
常用的非线性转换 （General Nonlinear Transform）
General Quadratic Hypothesis Set
基本形式为：
Φ2(x)=(1,x1,x2,x12,x1x2,x22) \Phi _ { 2 } ( \mathbf { x } ) = \left( 1 , x _ { 1 } , x _ { 2 } , x _ { 1 } ^ { 2 } , x _ { 1 } x _ { 2 } , x _ { 2 } ^ { 2 } \right) Φ2(x)=(1,x1,x2,x12,x1x2,x2
最低0.47元/天 解锁文章
扫一扫
733
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
