本文探讨了卷积神经网络（CNN）中过拟合的问题，包括训练准确率高但测试准确率低的原因，如层数过多、数据质量问题。介绍了减少过拟合的策略，如增加数据量、数据增强、正则化、早停策略和池化层的作用。此外，还阐述了CNN中卷积层、池化层和全连接层的功能，以及人工智能的基本原理。
将原模型中的卷积层（卷积核为5*5）全部替换成两个3*3级联的卷积层（就像VGG模型）训练误差一直为2.3不变
用局部连接而不是全连接，同时权值共享。
局部连接的概念参考局部感受域，即某个视神经元仅考虑某一个小区域的视觉输入，因此相比普通神经网络的全连接层（下一层的某一个神经元需要与前一层的所有节点连接），卷积网络的某一个卷积层的所有节点只负责前层输入的某一个区域（比如某个3*3的方块）。
这样一来需要训练的权值数相比全连接而言会大大减少，进而减小对样本空间大小的需求。权值共享的概念就是，某一隐藏层的所有神经元共用一组权值。这两个概念对应卷积层的话，恰好就是某个固定的卷积核。
卷积核在图像上滑动时每处在一个位置分别对应一个“局部连接”的神经元，同时因为“权值共享”的缘故，这些神经元的参数一致，正好对应同一个卷积核。
顺便补充下，不同卷积核对应不同的特征，比如不同方向的边（edge）就会分别对应不同的卷积核。
激活函数f(x)用ReLU的话避免了x过大梯度趋于0（比如用sigmoid）而影响训练的权值的情况（即GradientVanishing）。同时结果会更稀疏一些。
池化之后（例如保留邻域内最大或平均以舍弃一些信息）一定程度也压制了过拟合的情况。
综述总体来说就是重复卷积-relu来提取特征，进行池化之后再作更深层的特征提取，实质上深层卷积网络的主要作用在于特征提取。
最后一层直接用softmax来分类（获得一个介于0~1的值表达输入属于这一类别的概率）。
谷歌人工智能写作项目：神经网络伪原创
cnn训练准确率很高，测试准确率很低（loss有一直下降）是为什么?
可能的原因：有可能是层数较少，可以尝试增加卷积层；可能性不大
最低0.47元/天 解锁文章
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
