神经网络与机器学习 笔记—泛化和交叉验证

泛化和交叉验证

泛化

    在反向传播学习中，一般从一个训练样本开始，而且通过网络中装载尽可能多的训练样本来使用反向传播算法计算一个多层感知器的突触权值。希望这样设计的神经网络可以很好的泛化。对于从未在生成或训练网络时使用过的测试数据，若网络计算的输入-输出映射对他们来说是正确的（或接近于正确）的，我们就认为网络的泛化是很好的。（也就是预知能力）。

    学习过程（即神经网络的训练）可以看作是一个“曲线拟合”的问题。网络本身可以被简单第认为是一个非线性输入-输出映射。这个观点允许我们不在把神经网络的泛化看作是他的一个神秘的特征，而是作为简单的关于输入输出非线性插值的结果。这种网络之所以能够完成有意义的插值过程，主要因为具有连续激活函数的多层感知器导致输出函数同样也是连续的。

良好的泛化恰当的你和非线性映射：

    一个具有良好泛化能力的神经网络，即使当输入数据与训练样本稍有不同时，也能产生正确的输入-输出映射，然而，当神经网络学习太多的输入-输出样本时，他可能会完成训练数据的记忆。这可能在一下情况中出现，找到一个存在于训练数据中的特征，但对于即将要剑魔的固有函数却为假。