训练较深的卷积神经网络时遇到的问题

最近训练一个12层的cnn网络

参考了vgg和googlenets的思想，自己做了些微调

在有噪声的手写体识别上达到了98.59%的准确率

 

在训练时，前1000次，loss和acc就好像没有收敛一样

因为，神经网络太深，参数太多

我们要用更多时间去使网络提取到对应的参数

所以，一次训练到3k次以上之后再看效果

 

在训练的后期

train_acc = 0.997

varify_acc = 0.975的时候

我以为验证集准确率不会要有多大提升了

但是，再又训练了2k次之后

准确率提升了1%

 

超参数的选择：

前期训练是keep_prob=0.9, L2参数为0.01

为的是能让网络尽快收敛

 

后期的keep_prob 和L2参数自己根据网络过拟合情况自己调整

 

转载于:https://www.cnblogs.com/shensobaolibin/p/9173290.html