caffe中bn层与scale层

最新推荐文章于 2023-07-01 09:04:41 发布

转载最新推荐文章于 2023-07-01 09:04:41 发布 · 1.3k 阅读

Caffe 专栏收录该内容

18 篇文章

订阅专栏

本文解释了Caffe框架中Batch Normalization (BN) 层与Scale层的作用及配合使用的原因。BN层用于实现输入数据的归一化，而Scale层则负责缩放和位移已归一化的数据。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

caffe 中为什么bn层要和scale层一起使用

这个问题首先你要理解batchnormal是做什么的。它其实做了两件事
1) 输入归一化 x_norm = (x-u)/std, 其中u和std是个累计计算的均值和方差。
2）y=alpha×x_norm + beta，对归一化后的x进行比例缩放和位移。其中alpha和beta是通过迭代学习的。

那么caffe中的bn层其实只做了第一件事。scale层做了第二件事。这样你也就理解了scale层里为什么要设置bias_term=True，这个偏置就对应2）件事里的beta。