神经网络应用过程中的tips

       神经网络在训练过程中，会遇到这样或那样的问题。本文对部分问题进行简单的分析与介绍，并尽量提出解决方案，帮助大家共同学习。

（1）为什么算法有时候会陷入局部最优？

通常情况下，目标函数是权值的复杂的非线性函数，往往存在多个局部极小点。梯度下降算法如果收敛到一个局部极小点，梯度就会等于或接近于0，无法进一步改变目标函数，导致学习过程无法收敛到全局最优解。

（2） 如何选择合适的初始权值？

BP算法的最终收敛结果有时受初始化权值的影响很大。各个初始化权值不能为0，也不能都相同，而是应该采用较小的随机数。在实际应用中，如果算法很难收敛，可以稍微改变初值。

（3）如何选择学习率？

如果学习率太大，收敛速度可能刚开始比较快，但容易导致算法出现震荡而不能收敛或收敛很慢；如果学习率太小，则权值调整可能会比较慢，导致算法收敛太慢，容易陷入局部极小。为了兼顾训练过程和训练精度，有时采用变学习率的方法，开始时采用较大的学习率，随着学习的进行，逐渐减小学习率。

（4）人工神经网络有哪些要素？

人工神经网络有三大要素：神经元的传递函数；网络结构（神经元的数目和相互间的连接形式）；连接权值的学习算法；

（5）什么是过拟合？

过强的学习能力可能会导致神经网络推广能力比较弱，即虽然训练误差很快收敛到很小，但在新的独立样本上的测试误差却很大，这种情况称为过拟合。

（6）什么是欠拟合？

如果隐层结点数目过少，则神经网络的能力就越小，无法构造复杂的非线性分类面，对于复杂的数据很难得到小的训练误差，在测试样本上也无法得到满意的表现。这种情况称为欠拟合。