caffe中的normalization_layer

最新推荐文章于 2025-07-10 09:37:19 发布

zqjackking

最新推荐文章于 2025-07-10 09:37:19 发布

阅读量8.2k

点赞数 3

CC 4.0 BY-SA版权

分类专栏：深度学习-caffe 文章标签：正则

本文链接：https://blog.youkuaiyun.com/zqjackking/article/details/69938901

本文详细介绍了Caffe库中normalization_layer的实现，特别是L2正则化的应用。通过分析caffe.proto中的NormalizeParameter，探讨了关键参数across_spatial和channel_shared的作用。接着，文章深入解析了forward_cpu函数中的代码逻辑，区分了across_spatial为true和false时的不同归一化处理方式，以及channel_shared对归一化的影响。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

caffe-ssd里面有normalization的实现，包括.hpp，.cpp，.cu。其实现的是L2-normalization
L2正则化的公式是：
这里写图片描述
现在来看caffe的代码实现。
首先是caffe.proto，这里面定义了normalization_parameter
message NormalizeParameter {
optional bool across_spatial = 1 [default = true];
// Initial value of scale. Default is 1.0 for all
optional FillerParameter scale_filler = 2;
// Whether or not scale parameters are shared across channels.
optional bool channel_shared = 3 [default = true];
// Epsilon for not dividing by zero while normalizing variance
optional float eps = 4 [default = 1e-10];
}
这里面有两个很重要的参数，across_spatial和channel_shared。
accross_spatial决定了normalization的范围，如果为true的话（默认），则对每个num(channel*height*width)整体进行normalization，也就是上面xi的平方加和的个数是channel*height*width；如果是false的话，就表明normalization不是accross_spatial的，上面加和的个数是channel，也就是说，spatial中的每个像素点（height*width个数）分别进行normalization，这就大大减小了normalization的范围.
至于channel_shared。在上面的归一化完了之后，要将top_data乘以一个scale（这个scale是normalization_layer的唯一的参数），如果channel_shared为true（默认），那么top_data的所有channel都乘以同一个数，如果channel_shared为false，那么top_data的channel乘的数是不一样的。
下面看forward_cpu。

for (int n = 0; n < num; ++n) {
    caffe_sqr<Dtype>(dim, bottom_data, buffer_data);
    if (across_spatial_) {
      // add eps to avo

最低0.47元/天解锁文章

200万优质内容无限畅学