pytorch方法测试——归一化（BatchNorm2d）

最新推荐文章于 2025-06-16 20:00:09 发布
最新推荐文章于 2025-06-16 20:00:09 发布
阅读量3.5w 收藏 26
点赞数 9
CC 4.0 BY-SA版权
分类专栏： pytorch 文章标签： pytorch
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/tmk_01/article/details/80679549
这篇博客主要通过测试代码展示了在PyTorch中如何使用BatchNorm2d进行数据归一化。内容提到了归一化的计算公式，并特别指出torch计算方差时不使用Bessel's correction，提醒读者在自定义方差计算时需要注意。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

测试代码：

import torch

import torch.nn as nn

m = nn.BatchNorm2d(2,affine=True) #权重w和偏重将被使用
input = torch.randn(1,2,3,4)
output = m(input)

print("输入图片：")
print(input)
print("
最低0.47元/天 解锁文章

200万优质内容无限畅学
玩转pytorch和tensorflow之(1)——batchnorm
geastwind1的专栏
08-03 389
pytorch的BatchNorm2d需要把归一化的维度放到C所在的维度，对应维度索引[0,1,2,3]中的1，所以做了一个转置，输入的形状变为BWCH，把需要归一化的维度调到1。输入的形状为[1，2，3，4],BatchNormalization中的epislon参数对应BatchNorm2d 的eps参数，这里取1e-5。输入的形状为[1，2，3，4],BatchNormalization中的epislon参数对应BatchNorm2d 的eps参数，这里取1e-5。
深度学习——归一化
Blalaaa的博客
09-24 3134
假设一个函数：健康=3✖️身高+2✖️体重（身高：m，体重：斤）现在给出一个例子：1.6m130斤的人1，1.9m129的人2按照函数计算，你会发现他们的健康值差不多，故需要进行统一数量级，排除单位的干扰。最小-最大归一化将原始数据缩放到一个指定的最小和最大值（通常是0到1或-1到1）之间。公式如下：x——当出现3m的人，按照此公式会一直保留异常值的影响。
pytorch方法测试详解——归一化(BatchNorm2d)
12-23
测试代码： import torch import torch.nn as nn m = nn.BatchNorm2d(2,affine=True) #权重w和偏重将被使用 input = torch.randn(1,2,3,4) output = m(input) print("输入图片：") print(input) print("归一化权重：") print(m.weight) print("归一化的偏重：") print(m.bias) print("归一化的输出：") print(output) print("输出的尺度：") print(output.size()) # i =
【PyTorch】详解pytorch中nn模块的BatchNorm2d()函数
热门推荐
安静
06-12 19万+
基本原理 在卷积神经网络的卷积层之后总会添加BatchNorm2d进行数据的归一化处理，这使得数据在进行Relu之前不会因为数据过大而导致网络性能的不稳定，BatchNorm2d()函数数学原理如下： BatchNorm2d()内部的参数如下： 1.num_features：一般输...
批量归一化：batchnorm2d以及batchnorm1d和batchnorm3d的应用场景
最新发布
weixin_67868534的博客
06-16 834
批量归一化技术对比摘要：BatchNorm1d适用于一维序列（如文本、传感器数据），BatchNorm2d专为图像数据设计（如CNN分类），BatchNorm3d处理三维时空数据（如视频分析）。三者均能加速训练并提升稳定性，但存在批次依赖性问题。实际应用中需根据数据维度选择：图像用BatchNorm2d，序列数据可考虑BatchNorm1d（但Transformer多用LayerNorm），3D数据需BatchNorm3d。小批量场景建议改用LayerNorm或GroupNorm替代。合理选择归一化方法可显
PyTorch - BatchNorm2d
二分掌柜的
06-08 1695
PyTorch - BatchNorm2d flyfish 术语问题 在《深入浅出PyTorch》这本书中翻译成归一化 在花书《深度学习》书中翻译成标准化 在《深度学习之美》书中翻译成规范化 在《动手学深度学习》书中翻译成归一化 在《深度学习卷积神经网络从入门到精通》书中翻译成归一化 归一化，因为带了一字，容易被理解成将数据映射到[0,1], 而标准化有把数据映射到一个合理的分布的意思，翻译的不统一，容易造成讨论的概念不一致，可以参考 特征缩放（Feature_scaling） 我这里采用了 标准化 的翻译
神经网络-BatchNorm2d
Tc、zyh的博客
10-10 993
文章目录一、BatchNorm2d()理解 一、BatchNorm2d()理解 基本原理 在卷积神经网络的卷积层之后总会添加BatchNorm2d进行数据的归一化处理，这使得数据在进行Relu之前不会因为数据过大而导致网络性能的不稳定，BatchNorm2d()函数数学原理如下： BatchNorm2d()内部的参数如下： 1.num_features：一般输入参数为batch_sizenum_featuresheight*width，即为其中特征的数量 2.eps：分母中添加的一个值，目的是为了计算的稳定
pytorch之BatchNorm2d
qq_39140433的博客
12-07 745
pytorch之BatchNorm2d 函数参数讲解： BatchNorm2d(256, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True) 1.num_features：一般输入参数为batch_sizenum_featuresheight*width，即为其中特征的数量，即为输入BN层的通道数； 2.eps：分母中添加的一个值，目的是为了计算的稳定性，默认为：1e-5,避免分母为0； 3.momentum：一个用于运行过程中
nn.BatchNorm2d()
Xiang_bin_bin的博客
10-13 700
一起来学习nn.BatchNorm2d()的原理参考链接：BatchNorm2d这是什么层BatchNorm2d详解。
pytorch BatchNorm2d 函数
qq_35674193的博客
03-08 1398
此函数主要是为了归一化，本文主要讲解如何计算的，原理可以搜索其他博文。 上代码： # -*-coding:utf-8-*- import random import numpy as np import torch torch.manual_seed(50) random.seed(50) batch = torch.nn.BatchNorm2d(1,momentum = 0, eps=0,affine =False, track_running_stats=False) data =torch.
【pytorch之BatchNorm2d】BN归一化方法测试
华仔的博客
08-13 1837
测试代码参考：https://blog.youkuaiyun.com/tmk_01/article/details/80679549 首先我们先来看看pytorch官方文档有关这个方法的介绍： 下面进行测试： import torch import torch.nn as nn m = nn.BatchNorm2d(2,affine=True) #权重w和偏重将被使用 #affine默认为...
BatchNorm2d那些事儿
weixin_45931455的博客
11-07 1505
BatchNorm2d
PyTorch】详解nn模块的BatchNorm2d()函数
记录学习的小白
04-16 1万+
torch.nn.BatchNorm2d(num_features,eps=1e-05,momentum=0.1,affine=True,track_running_stats=True,device=None,dtype=None) 基本原理 在卷积神经网络的卷积层之后总会添加BatchNorm2d进行数据的归一化处理，这使得数据在进行Relu之前不会因为数据过大而导致网络性能的不稳定，BatchNorm2d()函数数学原理如下： ...
BatchNorm2d详解
yxyou_1124的博客
04-01 666
如果使用两个模型进行联合训练，为了收敛更容易控制，先预训练好模型model_A，并且model_A内还有若干BN层，后续需要将model_A作为一个inference推理模型和model_B联合训练，此时希望model_A中的BN的统计特性量running_mean和running_var不会乱变化，因此就需要将model_A.eval()设置到测试模型，否则在trainning模式下，就算是不去更新模型的参数，其BN都会变化，这将导致和预期不同的结果。一般都会设置成affine=True。
BatchNorm2d的使用
l8947943的博客
12-18 2832
先看用法 import torch import torch.nn as nn input = torch.randn(1, 2, 3, 4) print(input) bn = nn.BatchNorm2d(num_features=2) res = bn(input) print(res) 2. 作用 其实就是将一批feature map进行标准化处理。我们都学过正态分布的表达，xˉi=x−μσ2{\bar x_i} = \frac{{x - \mu }}{{{\sigma ^2}}}xˉ.
BatchNorm2d()理解
heiheihei000000的博客
07-21 1万+
BatchNorm2d()理解 基本原理 在卷积神经网络的卷积层之后总会添加BatchNorm2d进行数据的归一化处理，这使得数据在进行Relu之前不会因为数据过大而导致网络性能的不稳定，BatchNorm2d()函数数学原理如下： BatchNorm2d()内部的参数如下： 1.num_features：一般输入参数为batch_sizenum_featuresheight*width，即为其中特征的数量 2.eps：分母中添加的一个值，目的是为了计算的稳定性，默认为：1e-5 3.momentum：一个
pytorch实现batch normalization
m0_56175815的博客
05-08 1325
Batch Normalization（BN）层是一种常用于神经网络中的层。它是在每个训练批次中对输入进行规范化的技术，以防止神经网络中的梯度消失和梯度爆炸问题。
BatchNorm2d原理、作用及其pytorch中BatchNorm2d函数的参数讲解
qq_39777550的博客
08-16 7万+
BN原理、作用： 函数参数讲解： BatchNorm2d(256, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True) 1.num_features：一般输入参数为batch_sizenum_featuresheight*width，即为其中特征的数量，即为输入BN层的通道数； 2.eps：分母中添加的一个值，目的是为了计算的稳定性，默认为：1e-5,避免分母为0； 3.momentum：一个用于运行过程中均值和方差的一个估
tensorflow BatchNormalization 和torch BatchNorm2d区别
05-20
### TensorFlow BatchNormalization 和 PyTorch BatchNorm2d 的主要区别 #### 定义与功能 Batch Normalization 是一种用于加速神经网络训练的技术，通过规范化每一层输入数据的分布来减少内部协变量偏移。TensorFlow 中的 `tf.keras.layers.BatchNormalization` 和 PyTorch 中的 `nn.BatchNorm2d` 都实现了这一技术，但在实现细节上有显著差异。 --- #### 参数设置的区别 1. **动量参数 (Momentum)** - 在 TensorFlow 中，`momentum` 被定义为指数加权平均中的权重衰减因子，默认值通常为 0.99[^2]。 - 在 PyTorch 中，类似的参数被称为 `momentum`，但它表示的是更新移动均值和方差的比例，默认值为 0.1[^3]。这意味着两者的行为不同：TensorFlow 使用较大的权重保留历史统计信息，而 PyTorch 更倾向于快速适应新的统计数据。 2. **epsilon 值** - TensorFlow 默认的 epsilon 值为 \(1e^{-3}\)[^4]，这是一个相对较高的数值，旨在防止除零错误。 - PyTorch 则默认使用更小的 \(1e^{-5}\)，这可能更适合某些对精度敏感的任务[^5]。 --- #### 训练模式与推理模式 - **TensorFlow**: 在训练阶段，`BatchNormalization` 层会计算当前批次的数据均值和方差；而在推断阶段，则依赖于训练过程中累积的全局均值和方差。这种切换由 Keras 的 `training=True/False` 参数控制[^6]。 - **PyTorch**: 类似地，在训练期间调用 `.train()` 方法时，`BatchNorm2d` 将基于每一批次动态调整其统计特性；进入评估状态（`.eval()`）后则改用预估的整体均值和标准差[^7]。 --- #### 维度支持的不同 - **TensorFlow** 支持多种维度形式下的批标准化操作，例如对于卷积层可以指定 axis 来适配不同的通道位置（如 channels_last 或 channels_first）。它还提供了灵活接口允许自定义归一化轴线[^8]。 - **PyTorch** 主要针对 NCHW 数据格式设计了专门版本——即 `BatchNorm2d` 特定适用于二维空间上的特征图处理场景[^9]。如果需要其他类型的批量正则化，则需选用相应类目比如 `BatchNorm1d`, `BatchNorm3d`. --- #### 性能优化方面 - **TensorFlow** 提供了一些高级选项以便更好地融合到整个框架生态体系之中，包括但不限于分布式环境下的同步 BN 实现以及混合精度训练的支持等功能扩展[^10]。 - **PyTorch** 同样具备良好的性能表现，并且由于其实现简洁高效，在许多情况下能够达到甚至超越 TF 的速度水平[^11]。此外，PT 还内置了 CUDA 加速机制进一步提升 GPU 上运行效率。 ```python import torch.nn as nn bn_pytorch = nn.BatchNorm2d(num_features=64) from tensorflow.keras.layers import BatchNormalization bn_tensorflow = BatchNormalization(axis=-1, momentum=0.99, epsilon=0.001) ``` --- #### 初始化方式对比 两者的初始化过程也存在细微差别： - 对于 PyTorch ，可以通过传递额外的关键字参数来自由设定 gamma(缩放系数) beta(位移项)初始值等属性[^12]； - TensorFlow 则采用更加直观的方式完成相同目的—直接修改对应成员变量即可[^13]。 ---
评论 4
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值