Caffe Batchnorm层使用小结

最新推荐文章于 2023-02-21 16:53:28 发布

BockSong

最新推荐文章于 2023-02-21 16:53:28 发布

阅读量1.3k

点赞数

CC 4.0 BY-SA版权

分类专栏：深度学习文章标签： caffe batchnorm batch normalization

本文链接：https://blog.youkuaiyun.com/BockSong/article/details/82385094

深度学习专栏收录该内容

15 篇文章

订阅专栏

本文介绍了BatchNormalization(BN)的基本原理及其在深度学习框架Caffe中的具体应用。BN可以使每一层网络的输出分布保持一致，从而加速训练过程。文章详细解释了BN层的参数设置，特别是use_global_stats参数的作用，并给出了一个BN层配置的例子。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

首先回顾一下batch normalization的原理。BN主要原理是使得每一层的输出的分布相同，从而让网络的每一层不必再因为需要学习数据分布上的不同而受到影响。BN的好处包括允许网络使用较高的学习率，能够起到一定的regularization的作用等等，从而加速训练。

一般来讲BN layer可以放在FC layer或conv layer的后边，数据量大或复杂的情况下可以每层都放。也有说法认为在小数据量或网络简单的情况下，在data layer后边放一个就好了。

然后讲解一下caffe中BN层的参数设置，除了其他层也有的基本参数外，BN中的一个重要参数是use_global_stats，含义是：如果为真，则使用保存的均值和方差，否则采用滑动平均计算新的均值和方差。该参数缺省的时候，如果是测试阶段则等价为真，如果是训练阶段则等价为假。因此实际上可以略去不写，但是在读代码时应注意，设置不对的话训练可能会有问题。

此外还有一种可能用到的BN层设置如下，将学习率设为0：

layer {
  name: "dw/bn"
  type: "BatchNorm"
  bottom: "dw"
  top: "dw"
  param {
    lr_mult: 0
    decay_mult: 0
  }
  param {
    lr_mult: 0
    decay_mult: 0
  }
  param {
    lr_mult: 0
    decay_mult: 0
  }
}