神经网络 正则化

1、神经网络的过拟合
2、正则化
3、正则化干了什么

1、神经网络过拟合。

　　过拟合是什么？这个问题之前，假定你已经了解神经网络的分类与回归这些概念，以及能用基本的网络来实现分类。我们来看一个例子，比如小明和小王在同一个班学习加法，老师告诉他们1+1=2，1+2=3，这样教他们，老师教一种方法，叫做用数手指头的方法来计算加法。这样小明和小王都学会了加法，小明和小王不一样的是，小王是通过数手指头来计算，小明则是死记硬背。这样小王在２＋２时，用数手指头的方法得出４，小明就不知道了，他完全把老师讲的两个数字背下来，小明不会推理，死记硬背了，２＋２不会了。这个例子看出小明本身对于结论的得出是靠纯记忆，没有任何的推理，小王有推理，所以小明的泛化能力不好，自己记住的东西一下就出来了，新的东西就不行。那么对于神经网络也有这个问题，有的网络训练之后，对于训练数据拟合非常好，对于新的数据表现不好，这种现象就是过拟合的现象。上面那个例子是一个形象化的例子，但是神经网络中的过拟合还不是那么一回事。