Caffe下卷积神经网络中的一些特殊层

Caffe下卷积神经网络（CNN）中的一些特殊层

作者：xg123321123

出处：http://blog.youkuaiyun.com/xg123321123/article/details/52610919

声明：版权所有，转载请联系作者并注明出处

Batch Normalization

• 意义： 网络训练时，用来加速收敛速度
• 提醒：
  
  • 已经将BN集成为一个layer了，使用时需要和scale层一起使用
  • 训练的时候，将BN层的use_global_stats设置为false； 测试的时候将use_global_stats设置为true，不然训练的时候会报“NAN”或者模型不收敛 – 师兄的经验，我还没试验过
• 用法： 详见 残差神经网络的使用

---

Dropout

• 意义： 防止模型过拟合；训练模型时，随机让网络某些隐含层节点的权重不工作（不工作的那些节点可以暂时认为不是网络结构的一部分，但是它的权重得保留下来，只是暂时不更新而已，因为下次样本输入时它可能又得工作了）
• 用法࿱