PyTorch学习之归一化层（BatchNorm、LayerNorm、InstanceNorm、GroupNorm）

最新推荐文章于 2025-06-12 10:32:59 发布

转载最新推荐文章于 2025-06-12 10:32:59 发布 · 1.7k 阅读

文章标签：

#normalization #pytorch

机器学习同时被 2 个专栏收录

4 篇文章

订阅专栏

pytorch

1 篇文章

订阅专栏

博客原文链接为https://blog.youkuaiyun.com/shanglianlm/article/details/85075706 ，标签涉及normalization和pytorch，推测内容与这两项信息技术相关。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

原文：https://blog.youkuaiyun.com/shanglianlm/article/details/85075706

BN，LN，IN，GN从学术化上解释差异：
BatchNorm：batch方向做归一化，算NHW的均值，对小batchsize效果不好；BN主要缺点是对batchsize的大小比较敏感，由于每次计算均值和方差是在一个batch上，所以如果batchsize太小，则计算的均值、方差不足以代表整个数据分布
LayerNorm：channel方向做归一化，算CHW的均值，主要对RNN作用明显；
InstanceNorm：一个channel内做归一化，算H*W的均值，用在风格化迁移；因为在图像风格化中，生成结果主要依赖于某个图像实例，所以对整个batch归一化不适合图像风格化中，因而对HW做归一化。可以加速模型收敛，并且保持每个图像实例之间的独立。
GroupNorm：将channel方向分group，然后每个group内做归一化，算(C//G)HW的均值；这样与batchsize无关，不受其约束。
SwitchableNorm是将BN、LN、IN结合，赋予权重，让网络自己去学习归一化层应该使用什么方法。

1 BatchNorm


 
   
    
   
   
    
     torch.nn.BatchNorm1d(num_features, eps=
     1e-05, momentum=
     0.1, affine=
     True, track_running_stats=
     True)
    
   

   
    
   
   
    
     torch.nn.BatchNorm2d(num_features, eps=
     1e-05, momentum=
     0.1, affine=
     True, track_running_stats=
     True)
    
   

   
    
   
   
    
     torch.nn.BatchNorm3d(num_features, eps=
     1e-05, momentum=
     0.1, affine=
     True, track_running_stats=
     True)

参数：

num_features：来自期望输入的特征数，该期望输入的大小为’batch_size x num_features [x width]’
eps：为保证数值稳定性（分母不能趋近或取0）,给分母加上的值。默认为1e-5。
momentum：动态均值和动态方差所使用的动量。默认为0.1。
affine：布尔值，当设为true，给该层添加可学习的仿射变换参数。
track_running_stats：布尔值，当设为true，记录训练过程中的均值和方差；

实现公式：

2 GroupNorm

torch.nn.GroupNorm(num_groups, num_channels, eps=1e-05, affine=True)

参数：

num_groups：需要划分为的groups
num_features：来自期望输入的特征数，该期望输入的大小为’batch_size x num_features [x width]’
eps：为保证数值稳定性（分母不能趋近或取0）,给分母加上的值。默认为1e-5。
momentum：动态均值和动态方差所使用的动量。默认为0.1。
affine：布尔值，当设为true，给该层添加可学习的仿射变换参数。

实现公式：

3 InstanceNorm


 
   
    
   
   
    
     torch.nn.InstanceNorm1d(num_features, eps=
     1e-05, momentum=
     0.1, affine=
     False, track_running_stats=
     False)
    
   

   
    
   
   
    
     torch.nn.InstanceNorm2d(num_features, eps=
     1e-05, momentum=
     0.1, affine=
     False, track_running_stats=
     False)
    
   

   
    
   
   
    
     torch.nn.InstanceNorm3d(num_features, eps=
     1e-05, momentum=
     0.1, affine=
     False, track_running_stats=
     False)

参数：

num_features：来自期望输入的特征数，该期望输入的大小为’batch_size x num_features [x width]’
eps：为保证数值稳定性（分母不能趋近或取0）,给分母加上的值。默认为1e-5。
momentum：动态均值和动态方差所使用的动量。默认为0.1。
affine：布尔值，当设为true，给该层添加可学习的仿射变换参数。
track_running_stats：布尔值，当设为true，记录训练过程中的均值和方差；

实现公式：

4 LayerNorm

torch.nn.LayerNorm(normalized_shape, eps=1e-05, elementwise_affine=True)

参数：

normalized_shape：输入尺寸

[∗×normalized_shape[0]×normalized_shape[1]×…×normalized_shape[−1]]

eps：为保证数值稳定性（分母不能趋近或取0）,给分母加上的值。默认为1e-5。
elementwise_affine：布尔值，当设为true，给该层添加可学习的仿射变换参数。

实现公式：

5 LocalResponseNorm

torch.nn.LocalResponseNorm(size, alpha=0.0001, beta=0.75, k=1.0)

参数：

size：用于归一化的邻居通道数
alpha：乘积因子，Default: 0.0001
beta ：指数，Default: 0.75
k：附加因子，Default: 1