BN / LN / IN / GN /

追赶早晨

已于 2024-03-21 22:18:53 修改

阅读量320

点赞数 1

分类专栏：机器学习基础文章标签： python numpy 机器学习

于 2022-08-20 01:38:28 首次发布

本文链接：https://blog.youkuaiyun.com/qq_35222729/article/details/126434372

版权

机器学习基础专栏收录该内容

16 篇文章

订阅专栏

这篇博客探讨了两种不同的批量归一化（Batch Normalization）实现方式，一种是博主自定义的Python代码，另一种是使用PyTorch内置的BN层。虽然作者对自定义代码持保留态度，但通过示例展示了它们如何应用于随机生成的数据，并进行了等效性验证。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

在这里插入图片描述
这个博客讲的不错，请跳转

但是代码不敢苟同! 所以自己写了两种代码!
由于这只是测试, 并不是用来训练, 所以α和β参数就没有加!

def BN(inputs):
    c = inputs.shape[1]
    for i in range(c):
        channel = inputs[:,i,:,:]
        mu = np.mean(channel)
        var = np.var(channel)
        channel_new = ((channel - mu)/(np.sqrt(var + 1e-5))  )  * 1 + 0
        inputs[:,i,:,:] = channel_new
    return inputs

def BN1(inputs):
    x = inputs.transpose(1,0,2).reshape(3, -1)  # 需要将整个 B * H * W全部归一化为一个数
    mu = np.mean(x, axis=-1).reshape(1, 3, -1)
    var = np.var(x, axis=-1).reshape(1, 3, -1)
    inputs = (inputs - mu) / np.sqrt(var + 1e-5)
    return inputs.reshape(1, 3, 2, 2)


np.random.seed(2022)
torch_bn = nn.BatchNorm2d(3)
x = (np.random.randn(1,3,2,2)) * 10
print(x)
y = BN1(x.reshape(1, 3, -1))
z = torch_bn(torch.tensor(x, dtype=torch.float32))
print(y)
print(z)