对BatchNorm2d的理解

最新推荐文章于 2023-10-13 09:26:18 发布

原创

最新推荐文章于 2023-10-13 09:26:18 发布 · 864 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#机器学习 #BatchNorm2d

本文介绍了BatchNorm2d的概念，它是白化处理的改进版，减少了计算复杂性。BatchNorm2d对每个特征维度进行批量归一化，使数据映射到均值为0，标准差为1的空间。作者通过实验验证了BN的工作原理，实验结果显示对不同输入应用BN后拼接的结果，等同于直接对组合输入应用BN。

简介

网上关于BN处理的说明有很多，它的前身就是白化处理，但是白化处理需要消除特征之间的相关性（使用PCA降维，矩阵分解等），这样比较消耗时间，然后对每一维特征的样本进行归一化，就是将其映射到均值为0，标准差为1的空间上。 BN汲取了白化处理的思想，但是BN的特点是进行批量归一化，比如一个形状为[N,C,H,W]的输入数据，它针对每一维特征进行样本大小为NxHxW的归一化操作，将该维特征的样本空间进行一个标准映射。为了验证我的理解，我做了实验一下实验。

准备数据

input1: 一维特征，batch=2的tensor
input2: 一维特征，batch=2的tensor
input: 二维特征，batch=2的tensor

import numpy as np
import torch
m1 = torch.nn.BatchNorm2d(1)
m2 = torch.nn.BatchNorm2d(2)
input1 = torch.randint(5,[2,1,2,2],dtype=torch.float32)
input2 = torch.randint(5,[2,1,