非线性转换

我们之前的课程都是假设数据是线性可分的，那么我们就可以用一条直线将其分开。
比如，想这样

然而现实生活中并不是这样的
　
像上面的那张图，无论我们用怎样的线性模型都无法将其很好的分开。但是我们发现一个圆可以很好的解决这个问题

他的分类器方程为

那么我们把1,$x_1^2$，$x_2^2$设定为$z_0$,$z_1$,$z_2$,就相当于得到了一条关于z的线性方程。

也就是说，我们可以通过一个函数$\Phi (x)$把x映射到z上面，那么就可以把可用圆分开的数据集${x_n,y_n}$,转换成可用直线分开的数据集${z_n,y_n}$。

就把上面左边的图映射到右边的图了。

那具体该怎么做呢？？？
首先我们把ｘ域的数据点{x,y}通过函数$\Phi (x)$全部映射到z域，即

然后用z域的数据 { z , y } 训练模型,即

以后，每来一个新样本（$x,y$），我们救将其转化到ｚ域上面，得到(z,y)，然后用上面的模型对该新样本（ｚ,y）进行分类即可。
即

可是，这个$\Phi (x)$该怎么选呢？？？并不知道啊！！！求大神告知！！！(可以参考svm的核函数)

貌似，我们可以通过这种方法表示出所有的模型，但是这并不是全能的，他有很大的缺点限制这他的使用。
当ｘ的次数越高，模型就越复杂，就会把一些误差给记住，那么虽然$E_{in}$此时很低，但是并不能使得$E_{ｏｕｔ}$=$E_{in}$。过拟合。
当x次数太低，模型简单，虽然能保证$E_{ｏｕｔ}$=$E_{in}$，但是不能保证$E_{in}$此时低。欠拟合。

还有我们怎么确定$\Phi (x)$,也就是x的形式是怎样的。我们之前的例子x的形式是椭圆，即有$x_1^2$,$x_2^2$,这样就知道了$\Phi (x)$。那么问题就是，凭什么是圆，其实椭圆也是可以的。其实这是根据我们肉眼观察的，这样的做法是不科学的。首先，如果是１０维的话，我们肉眼是看不出来的。即使可以看出来，由于结果是我们人脑学习出来的，所以我们计算出来的错误虽小，但是并没有把我们人脑引起的误差算进去。也就是，可能其实用椭圆比用圆更好。所以$\Phi (x)$的形式，不能根据人眼观察得到。

最后一个知识点是：
　
对于上面的图形我们并不陌生。我们最终的目的是希望　out-of-sample error最小，而不是 in-sample error最小。所以，我们应该最先建立一个很简单的模型，逐渐改进；千万不要一开始就弄一个复制的模型，那样就不好评估，你估计还以为你的算法很好，其实早已经过拟合了。