卷积神经网络细节上的问题总结

 一、卷积层和池化层有什么区别？ 

   首先可以从结构上可以看出，卷积之后输出层的维度减小，深度变深。但池化层深度不变。同时池化可以把很多数据用最大值或者平均值代替。目的是降低数据量。降低训练的参数。对于输入层，当其中像素在邻域发生微小位移时，池化层的输出是不变的，从而能提升鲁棒性。而卷积则是把数据通过一个卷积核变化成特征，便于后面的分离。 

 二、采用宽卷积的好处有什么？ 

  通过将输入边角的值纳入到滑窗中心进行计算，以便损失更少的信息。 

三、卷积输出的深度与哪个部件的个数相同？ 

 输出深度（通道）与卷积核（过滤器）的个数相等。 

四、激活函数通常放在卷积神经网络的那个操作之后？ 

   通常放在卷积层之后。 

五、为什么激活函数通常都是采用非线性的函数？ 

  如果网络中都采用线性函数的组合，那么线性的组合还是线性，那么使用多次线性组合就等同于使用了一次线性函数。因此采用非线性函数可以来逼近任意函数。 

六、非线性激活函数中 sigmod 函数存在哪些不足？ 

  Sigmod 函数存在饱和状态，尤其是值过大时，当进入饱和状态时，进行梯度下降计算时，很容易出现梯度消失的情况，求导的精确值不能保证。 

七、ReLU 和 SoftPlus 激活函数有哪些优势？ 

  与 sigmod 相比，不存在指数计算，求导计算量变小，同时缓解了过拟合的情况，一部分输出为 0，减少了参数的相互依存。