BatchNorm和LayerNorm 简单解释

最新推荐文章于 2025-03-18 16:45:55 发布

LUQC638

最新推荐文章于 2025-03-18 16:45:55 发布

阅读量1.6k

点赞数

文章标签：机器学习深度学习概率论

本文链接：https://blog.youkuaiyun.com/weixin_61445075/article/details/122450613

版权

本文介绍了在一维数据中使用BatchNorm1d和LayerNorm进行数据归一化的区别。BatchNorm1d对所有样本的每个维度计算均值和方差，而LayerNorm则针对每个样本的所有维度计算。通过示例代码展示了两种方法的应用及结果。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

对于一维的数据，使用BatchNorm1d和LayerNorm，简单的理解，BatchNorm是对所有样本的每一个维度取均值，均方差进行计算。LayerNorm是对每一个样本的所有维度取均值，均方差进行计算。

import torch
import torch.nn as nn

if __name__ == '__main__':

    input = torch.tensor([[6,6,6,6],
                          [6,6,8,4],
                          [6,8,2.,6]])
    norm1 = nn.BatchNorm1d(input.shape[1])
    norm2 = nn.LayerNorm(input.shape[1])
    print(norm1(input))
    print(norm2(input))

结果如下：

tensor([[ 0.0000, -0.7071,  0.2673,  0.7071],
        [ 0.0000, -0.7071,  1.0690, -1.4142],
        [ 0.0000,  1.4142, -1.3363,  0.7071]],
       grad_fn=<NativeBatchNormBackward>)
tensor([[ 0.0000e+00,  0.0000e+00,  0.0000e+00,  0.0000e+00],
        [-1.1921e-07, -1.1921e-07,  1.4142e+00, -1.4142e+00],
        [ 2.2942e-01,  1.1471e+00, -1.6059e+00,  2.2942e-01]],
       grad_fn=<NativeLayerNormBackward>)