caffe 中 BatchNorm layer设定

最新推荐文章于 2025-03-06 21:52:06 发布
转载 最新推荐文章于 2025-03-06 21:52:06 发布 · 555 阅读 · 0

转载于http://blog.youkuaiyun.com/u012939857/article/details/70740283

BN层的设定一般是按照conv->bn->scale->relu的顺序来形成一个block。 
关于bn，有一个注意点，caffe实现中的use_global_stats参数在训练时设置为false，测试时设置为true。 
因为在训练时bn作用的对象是一个batch_size，而不是整个训练集，如果没有将其设置为false，则有可能造成bn后数据更加偏离中心点，导致nan或87.3365的问题。

caffe 中为什么bn层要和scale层一起使用

这个问题首先要理解batchnormal是做什么的。它其实做了两件事。 
1) 输入归一化 x_norm = (x-u)/std, 其中u和std是个累计计算的均值和方差。 
2）y=alpha×x_norm + beta，对归一化后的x进行比例缩放和位移。其中alpha和beta是通过迭代学习的。 
那么caffe中的bn层其实只做了第一件事。scale层做了第二件事。 
这样也就理解了scale层里为什么要设置bias_term=True，这个偏置就对应2）件事里的beta。

代码：

第一种情况，phase: TRAIN/TEST都不加 ，caffe会自动匹配去设置use_global_stats的值


 
  1. 
   
    
    
    
   
    
   
    
    
    
     layer {
    
    
   
  2. 
   
    
    
    
   
    
   
    
    
    
     	name: 
     "conv1"
    
    
   
  3. 
   
    
    
    
   
    
   
    
    
    
     	type: 
     "Convolution"
    
    
   
  4. 
   
    
    
    
   
    
   
    
    
    
     	bottom: 
     "data"
    
    
   
  5. 
   
    
    
    
   
    
   
    
    
    
         top: 
     "conv1"
    
    
   
  6. 
   
    
    
    
   
    
   
    
    
    
     	param{
    
    
   
  7. 
   
    
    
    
   
    
   
    
    
    
     		lr_mult:
     1
    
    
   
  8. 
   
    
    
    
   
    
   
    
    
    
     		decay_mult:
     1
    
    
   
  9. 
   
    
    
    
   
    
   
    
    
    
     	}
    
    
   
  10. 
   
    
    
    
   
    
   
    
    
    
     	param{
    
    
   
  11. 
   
    
    
    
   
    
   
    
    
    
     	    lr_mult:
     2
    
    
   
  12. 
   
    
    
    
   
    
   
    
    
    
     		decay_mult:
     0
    
    
   
  13. 
   
    
    
    
   
    
   
    
    
    
     	}
    
    
   
  14. 
   
    
    
    
   
    
   
    
    
    
         convolution_param{
    
    
   
  15. 
   
    
    
    
   
    
   
    
    
    
     		num_output:
     32
    
    
   
  16. 
   
    
    
    
   
    
   
    
    
    
     		kernel_size:
     5
    
    
   
  17. 
   
    
    
    
   
    
   
    
    
    
     		weight_filler{
    
    
   
  18. 
   
    
    
    
   
    
   
    
    
    
     			type:
     "xavier"
    
    
   
  19. 
   
    
    
    
   
    
   
    
    
    
     		}
    
    
   
  20. 
   
    
    
    
   
    
   
    
    
    
     		bias_filler{
    
    
   
  21. 
   
    
    
    
   
    
   
    
    
    
     			type:
     "constant"
    
    
   
  22. 
   
    
    
    
   
    
   
    
    
    
     		}
    
    
   
  23. 
   
    
    
    
   
    
   
    
    
    
     	}
    
    
   
  24. 
   
    
    
    
   
    
   
    
    
    
     }
    
    
   
  25. 
   
    
    
    
   
    
   
    
    
    
     layer {  
    
    
   
  26. 
   
    
    
    
   
    
   
    
    
    
       name: 
     "BatchNorm1"  
    
    
   
  27. 
   
    
    
    
   
    
   
    
    
    
       type: 
     "BatchNorm" 
    
    
   
  28. 
   
    
    
    
   
    
   
    
    
    
       bottom: 
     "conv1"  
    
    
   
  29. 
   
    
    
    
   
    
   
    
    
    
       top: 
     "conv1"   
    
    
   
  30. 
   
    
    
    
   
    
   
    
    
    
       param {  
    
    
   
  31. 
   
    
    
    
   
    
   
    
    
    
         lr_mult: 
     0  
    
    
   
  32. 
   
    
    
    
   
    
   
    
    
    
         decay_mult: 
     0  
    
    
   
  33. 
   
    
    
    
   
    
   
    
    
    
       }   
    
    
   
  34. 
   
    
    
    
   
    
   
    
    
    
       param {  
    
    
   
  35. 
   
    
    
    
   
    
   
    
    
    
         lr_mult: 
     0  
    
    
   
  36. 
   
    
    
    
   
    
   
    
    
    
         decay_mult: 
     0  
    
    
   
  37. 
   
    
    
    
   
    
   
    
    
    
       }  
    
    
   
  38. 
   
    
    
    
   
    
   
    
    
    
       param {  
    
    
   
  39. 
   
    
    
    
   
    
   
    
    
    
         lr_mult: 
     0  
    
    
   
  40. 
   
    
    
    
   
    
   
    
    
    
         decay_mult: 
     0  
    
    
   
  41. 
   
    
    
    
   
    
   
    
    
    
       }
    
    
   
  42. 
   
    
    
    
   
    
   
    
    
    
     }  
    
    
   
  43. 
   
    
    
    
   
    
   
    
    
     
    
    
   
  44. 
   
    
    
    
   
    
   
    
    
    
     layer {  
    
    
   
  45. 
   
    
    
    
   
    
   
    
    
    
       name: 
     "scale1"  
    
    
   
  46. 
   
    
    
    
   
    
   
    
    
    
       type: 
     "Scale"
    
    
   
  47. 
   
    
    
    
   
    
   
    
    
    
       bottom: 
     "conv1"  
    
    
   
  48. 
   
    
    
    
   
    
   
    
    
    
       top: 
     "conv1"    
    
    
   
  49. 
   
    
    
    
   
    
   
    
    
    
       scale_param {  
    
    
   
  50. 
   
    
    
    
   
    
   
    
    
    
         bias_term: true  
    
    
   
  51. 
   
    
    
    
   
    
   
    
    
    
       }  
    
    
   
  52. 
   
    
    
    
   
    
   
    
    
    
     } 
    
    
   
  53. 
   
    
    
    
   
    
   
    
    
    
     layer{
    
    
   
  54. 
   
    
    
    
   
    
   
    
    
    
     	name:
     "relu1"
    
    
   
  55. 
   
    
    
    
   
    
   
    
    
    
     	type:
     "ReLU"
    
    
   
  56. 
   
    
    
    
   
    
   
    
    
    
     	bottom:
     "conv1"
    
    
   
  57. 
   
    
    
    
   
    
   
    
    
    
     	top:
     "conv1"
    
    
   
  58. 
   
    
    
    
   
    
   
    
    
    
     }
第二种情况：加上 use_global_stats, 测试的时候再改成true 


 
  1. 
   
    
    
    
   
    
   
    
    
    
     layer {  
    
    
   
  2. 
   
    
    
    
   
    
   
    
    
    
       name: 
     "BatchNorm1"  
    
    
   
  3. 
   
    
    
    
   
    
   
    
    
    
       type: 
     "BatchNorm" 
    
    
   
  4. 
   
    
    
    
   
    
   
    
    
    
       bottom: 
     "conv1"  
    
    
   
  5. 
   
    
    
    
   
    
   
    
    
    
       top: 
     "conv1"   
    
    
   
  6. 
   
    
    
    
   
    
   
    
    
    
       param {  
    
    
   
  7. 
   
    
    
    
   
    
   
    
    
    
         lr_mult: 
     0  
    
    
   
  8. 
   
    
    
    
   
    
   
    
    
    
         decay_mult: 
     0  
    
    
   
  9. 
   
    
    
    
   
    
   
    
    
    
       }   
    
    
   
  10. 
   
    
    
    
   
    
   
    
    
    
       param {  
    
    
   
  11. 
   
    
    
    
   
    
   
    
    
    
         lr_mult: 
     0  
    
    
   
  12. 
   
    
    
    
   
    
   
    
    
    
         decay_mult: 
     0  
    
    
   
  13. 
   
    
    
    
   
    
   
    
    
    
       }  
    
    
   
  14. 
   
    
    
    
   
    
   
    
    
    
       param {  
    
    
   
  15. 
   
    
    
    
   
    
   
    
    
    
         lr_mult: 
     0  
    
    
   
  16. 
   
    
    
    
   
    
   
    
    
    
         decay_mult: 
     0  
    
    
   
  17. 
   
    
    
    
   
    
   
    
    
    
       }
    
    
   
  18. 
   
    
    
    
   
    
   
    
    
    
       batch_norm_param {
    
    
   
  19. 
   
    
    
    
   
    
   
    
    
    
     		use_global_stats: false
    
    
   
  20. 
   
    
    
    
   
    
   
    
    
    
     	}
    
    
   
  21. 
   
    
    
    
   
    
   
    
    
    
     }






【深度学习】BatchNorm、LayerNorm
研究兴趣：开放集识别、开放世界识别、新类发现、增量学习、少样本学习
04-14 1万+
BatchNorm、LayerNorm的概念、作用、实现
layerNorm和batchNorm
qq_19072921的博客
03-19 3702
layerNorm和batchNorm
详解三种常用标准化：Batch Norm & Layer Norm & RMSNorm
争取早日成为硅农
10-07 3万+
Normalization现在已经成了神经网络中不可缺少的一个重要模块了，并且存在多种不同版本的归一化方法，其本质都是减去均值除以方差，进行线性映射后，使得数据满足某个稳定分布，如下图所示：深度学习中，归一化是常用的稳定训练的手段，CV 中常用 Batch Norm；Transformer 类模型中常用 layer norm，而 RMSNorm 是近期很流行的 LaMMa 模型使用的标准化方法，它是 Layer Norm 的一个变体。
BatchNorm layer设定
山里娃娃哈
04-25 4763
BN层的设定一般是按照conv->bn->scale->relu的顺序来形成一个block。 关于bn，有一个注意点，caffe实现中的use_global_stats参数在训练时设置为false，测试时设置为true。 因为在训练时bn作用的对象是一个batch_size，而不是整个训练集，如果没有将其设置为false，则有可能造成bn后数据更加偏离中心点，导致nan或87.3365的问题。c
深度学习基础之BatchNorm和LayerNorm
学习笔记
10-18 5815
batch norm适用于CV，因为计算机视觉喂入的数据都是像素点，可以说数据点与点之间是可以比较的，所以使用batch norm可以有比较好的效果，而NLP里，每个词的词向量是一组向量表示一个词，一个词向量割裂开来看是没有意义的，因此不同词向量里的数据点是不能混为一谈的，所以batch norm之后可能会使得词损失语义，效果就可能不好了，但是使用layer norm只是让各个词向量进行标准化，就能够有比较理想的效果了。
caffe中BatchNorm层和Scale层实现批量归一化（batch-normalization）注意事项
恰同学少年的博客
12-22 6087
caffe中实现批量归一化（batch-normalization）需要借助两个层：BatchNorm 和 Scale BatchNorm实现的是归一化 Scale实现的是平移和缩放 在实现的时候要注意的是由于Scale需要实现平移功能，所以要把bias_term项设为true 另外，实现BatchNorm的时候需要注意一下参数use_global_stats，在训练的时候设为false，在
Caffe | 核心积木Layer层类详解
yuanCruise
01-20 1648
0.简介 Layer层类是Caffe中搭建网络的基本单元，当然也是使用Caffe训练的核心部件单元，因此我们将其称之为Caffe的核心积木。Layer基类派生出了各种不同功能的层类，Layer类派生出来的层类通过实现两个虚函数Forward()和Backward()，产生了各式各样功能的层类。Forward是从根据bottom计算top的过程进行前向计算，Backward则相反根据top计算bot...
Convolution+BatchNorm+Scale模块参数设置 & 融合BatchNorm+Scale层到Convolution层
yly的博客
08-28 3920
Convolution+BatchNorm+Scale+Relu的组合模块在卷积后进行归一化，然后在放出非线性Relu层，可以加速训练收敛。但在推理时BatchNorm非常耗时，可以将训练时学习到的BatchNorm+Scale的线性变换参数融合到卷积层，替换原来的Convolution层中weight和bias，实现在不影响准确度的前提下加速预测时间。 一、Convolution+BatchN...
基于Caffe的ResNet变体prototxt生成工具
prototxt文件本质上是文本形式的网络拓扑描述，包含层类型（layer type）、连接关系、参数设置（如卷积核大小、步长、填充）、损失函数、优化器配置等内容，是Caffe模型训练与推理的基础。因此，本项目的意义在于：...
BatchNorm层训练和测试的注意事项
BigCowPeking
11-20 9056
BatchNorm层训练和测试的注意事项
理解BatchNorm和LayerNorm的区别和共同点，以及代码解释
qq_43069203的博客
03-06 2059
BatchNorm：通过跨样本归一化稳定训练，适合图像等静态数据。LayerNorm：通过单样本归一化处理动态数据，适合序列模型。共同目标：加速收敛，减少对初始化的敏感度。【深度学习】BatchNorm、LayerNorm。
为什么Batch Norm有效？
airliberal的博客
04-04 1405
最近思考得到的解答，将input进行norm标准化，等价于input进行了缩放，在进行反向传播修正时(以mini batch-SGD为例)，计算梯度时，不会出现梯度爆炸和消失（因为在这之前对input进行了norm）。同时batchsize的选取很有讲究，batch太小，计算出的梯度下降方向震荡，或是出现前后更新方向相抵消。导致难以学习，或者无法收敛。太大会导致下降方向无太大变化，求解最优解依赖于...
一文弄懂Batch Norm / Layer Norm / Instance Norm / Group Norm 归一化方法
要相信光
04-25 2万+
文章目录前因总览Batch NormalizationLayer NormalizationInstance NormalizationGroup Normalization最终总结参考 前因 Normalization现在已经成了神经网络中不可缺少的一个重要模块了，并且存在多种不同版本的归一化方法，把我们秀得头晕眼花，其本质都是减去均值除以方差，进行线性映射后，使得数据满足某个稳定分布，如下图所示： 出于更好地理解与区分这些方法， 写下本文。 总览 如果不理解此图，可以先看后面的小节，再来会看这幅图
深度学习面试基础--BN层
weixin_46343115的博客
08-01 6881
深度学习中BN层的相关介绍
什么是 Batch normalization
热门推荐
渣渣
02-11 5万+
目录 Batch_normalization BN来源： BN原因： BN做法： BN优缺点： LRN 为什么要有LRN 局部响应归一化？ LRN公式 ： Ref: 归一化（normalization） 将一批不太标准的数据统一到指定的格式. 我们在数据处理时常用的是将一组范围差距较大或者单位不同的数据依据一定规则变化到指定的范围之内。 Batch_normalizati...
【深度学习】批归一化（Batch Normalization）
weixin_33918357的博客
02-19 1708
BN是由Google于2015年提出，这是一个深度神经网络训练的技巧，它不仅可以加快了模型的收敛速度，而且更重要的是在一定程度缓解了深层网络中“梯度弥散”的问题，从而使得训练深层网络模型更加容易和稳定。所以目前BN已经成为几乎所有卷积神经网络的标配技巧了。 从字面意思看来Batch Normalization（简称BN）就是对每一批数据进行归一化，确实如此，对于训练中某一个batch的数据{x1,...
Bach Normalization
jasonzzj的博客
12-28 1万+
【文章一】 tensorflow中关于BN（Batch Normalization）的函数主要有两个，分别是： tf.nn.momentstf.nn.batch_normalization 关于这两个函数，官方API中有详细的说明，具体的细节可以点链接查看，关于BN的介绍可以参考这篇论文，我来说说自己的理解。 不得不吐槽一下，tensorflow的官方API很少给例子，太不人性化了
卷积层后面跟batch normalization层时为什么不要偏置b
猫猫与橙子的博客
07-31 8111
最近在学习pytorch，自己搭建网络结构，搭建的时候遇到一个问题，就是convolutional层后接了batch normalization和scale层后，到底要不要设置卷积层的偏置，而且我最近在转换模型（caffe转pyotch）时，在跟了batchnorm的卷积层还设置了偏置（由于有偏置参数，所以就设置了偏置），那么到底是否需要在跟了batchnorm的卷积层后面跟上参数了？ 以下内容...
【PyTorch】偏置项 bias 与 Batch-Normalize
Esperanto.的博客
08-06 1777
偏置项与Batch-Normalize的关系
caffe BatchNorm层和 scale层
最新发布
08-24
在Caffe框架中，`BatchNorm`层和`Scale`层通常一起用于实现批量归一化（Batch Normalization），但它们各自承担不同的功能。 ### BatchNorm层的作用 `BatchNorm`层的主要功能是对输入数据进行标准化处理，即将输入的每个通道的特征图（feature map）按照当前批次的数据进行归一化，使其均值接近0，方差接近1。这一过程可以加速网络的训练过程，并有助于缓解内部协变量偏移（Internal Covariate Shift）问题。具体来说，`BatchNorm`层在训练阶段会根据当前批次的均值和方差进行标准化，并通过滑动平均的方式更新全局统计信息；而在测试阶段，则直接使用训练过程中保存的全局均值和方差进行标准化[^2]。 在配置`BatchNorm`层时，需要注意参数`use_global_stats`的设置：训练时通常设为`false`，表示使用当前批次的统计信息进行计算；测试时设为`true`，表示使用训练阶段保存的全局统计信息[^4]。 ### Scale层的作用 `Scale`层的功能是对`BatchNorm`层输出的结果进行可学习的缩放和平移操作。虽然`BatchNorm`层将输入数据标准化为均值为0、方差为1的分布，但这种标准化可能会限制网络的表达能力，因为某些非线性激活函数（如Sigmoid）在输入分布接近0时可能表现不佳。因此，`Scale`层引入了两个可学习参数：缩放因子（scale）和平移因子（shift），使得网络可以根据需要重新调整特征分布[^1]。 在实际使用中，`Scale`层通常紧随`BatchNorm`层之后，并且需要将`Scale`层的`bias_term`参数设置为`true`，以启用平移操作[^3]。 ### BatchNorm层与Scale层的区别 尽管`BatchNorm`层和`Scale`层通常一起使用，但它们的功能有明显区别： - **功能不同**：`BatchNorm`层负责对输入数据进行标准化，而`Scale`层则负责对标准化后的数据进行缩放和平移。 - **参数类型不同**：`BatchNorm`层的参数（均值、方差）通常是通过滑动平均计算得到的统计参数，而`Scale`层的参数（缩放因子和平移因子）是通过梯度下降等优化算法学习得到的可学习参数。 - **使用场景不同**：`BatchNorm`层主要用于加速训练并提高模型稳定性，而`Scale`层则用于恢复因标准化而可能丢失的表达能力[^3]。 综上所述，`BatchNorm`层和`Scale`层在批量归一化中扮演着互补的角色，前者负责标准化输入数据，后者负责恢复网络的表达能力。 ```protobuf # 示例：BatchNorm层和Scale层的配置 layer { name: "batchnorm" type: "BatchNorm" bottom: "conv1" top: "conv1" batch_norm_param { use_global_stats: false moving_average_fraction: 0.999 eps: 1e-5 } } layer { name: "scale" type: "Scale" bottom: "conv1" top: "conv1" scale_param { bias_term: true } } ```
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值