神经网络小结

在训练神经网络的过程中，多数情况下，会遇到准确率不高的情况，不能一次获得最好的结果；
一般是两种情况会导致准确率不准。

1. 欠拟合

欠拟合一般表现为训练集的准确率不高，这种情况下，应该：

• 适当的增加或减少隐层的层数或者神经元的个数
• 将原来使用的均方误差函数改为交叉熵作为损失函数
• 将梯度下降法调参改为随机梯度下降（SGD）,等等其他效果更好的梯度下降函数
• 如果使用的是mini-batch梯度下降（batch_size表示将每组数据有多少个，epoch表示重复进行多少次）改变mini-batch_size的大小，过大容易造成数据随机性降低，陷入局部最小，过小GPU的并行性运算能力不能体现，速度较慢。
• 前面提到$sigmoid$激活函数可能导致梯度消失，可以将$sigmoid$改成使用ReLU等激活函数，或者使用Maxout方法来自学习激活函数。
• 梯度下降时学习率（步长$\eta$）的改变可以使用$\mathbf{A}\mathbf{d}\mathbf{a}\mathbf{m},\mathbf{A}\mathbf{d}\mathbf{g}\mathbf{r}\mathbf{a}\mathbf{d}$等进行变化

2. 过拟合

过拟合一般表现为在训练集上的训练结果很好，在测试集上很差，此时应该考虑：

• 使用L1或L2范数进行正则化，平衡模型复杂度与误差。
• 使用Dropout来训练神经网络
• 使用更多的数据重新训练
• 在训练集中分出验证集，在训练过程中进行交叉验证，找到测试集和训练集上使得准确率平衡的那一点。