卷积网络常见问题

常见问题

1.如何降低过拟合？
过拟合：对数据拟合过度，模型对于所提供的数据进行一致性假设而使模型变得过度复杂称为过拟合。
危害：在训练集上的效果非常好，但是在测试集上的效果很差，即泛化能力很弱。
方法：
（1）获取和使用更多的数据集。让模型在更多的数据上进行观察和拟合，不断修正自己。
（2）采用合适的模型。
（3）使用dropout（随机失活）。在模型的训练过程中按一定的几率关闭或忽略某些层的节点。
（4）权重衰减（正则化）。L1和L2正则化。
（5）Early Stopping。在每个循环结束一次后，计算模型的accuracy。
（6）可变的学习率。
（7）Batch_Normalization。在数据进入激活函数之前，对输入的数据求均值和方差之后重新对数据进行归一化。
关键：对于数据集来说，增加数据集；对于模型来说，选择较为简单的模型。
2.全连接层详解？
卷积层作为特征提取的手段，在输出的最后由全连接层做数据的分类层。数学的解释是，全连接层起到一个投影空间映射的作用，将提取的数据特征从一个特
征空间投射到不同的特征空间，低维到高维。
3.激活函数起作用的原因？
激活函数并不是作为一个线性函数来考虑，更多的是将其作为一个线性”分割器“来使用。对于神经网络的拟合，可以认为是不停地将相似的数据和特征叠加在
一起，而激活函数就是在这些叠加层之间进行切割，使其在真实的贴近过程中还有一个能够被相互区分的能力。
4.池化层的作用？
（1）对卷积层所提取的信息做更进一步的降维，减少计算量。
（2）加强图像特征的不变性，使之增加对抗图像的偏移、旋转等方面的鲁棒性。
5.NIN模型：
Network In Network，网络中的网络，使用（1，1）的卷积核代替传统的卷积核，相当于进行了一次全连接提取，加强了线性特征，泛化能力更强。
提高了特征提取度，实现了跨通道的信息连接，实现了多个特征平面上的信息整合。取消了最后进行分类的全连接层，采用全局池化层取代全连接层，使用
Average Pooling进行模型的最终分类，使不同通道的信息聚集在一起，去区分图像。
极大的减少了权重数据。