pytorch 之 nn.BatchNorm2d(oup)( 100 )

最新推荐文章于 2025-07-01 15:12:41 发布
最新推荐文章于 2025-07-01 15:12:41 发布
阅读量2w 收藏 9
点赞数 2
CC 4.0 BY-SA版权
分类专栏： Obeject Detection
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/xk_snail/article/details/80006624
本文探讨了PyTorch中卷积层的具体参数设置及其含义，包括卷积层、批标准化层和ReLU激活函数的使用。同时，对训练过程中出现的额外参数如running_mean和running_var进行了详细解释。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

先看看解释。。。。。


然后。。。我的疑惑在于：

网络片段：

nn.Conv2d(inp, oup, 3, stride, 1, bias=False),
nn.BatchNorm2d(oup),
nn.ReLU(inplace=True),

我打印model的parameters来查看参数：

打印的为：

0.conv.0.weight ： torch.Size([32, 3, 3, 3])
0.conv.1.weight ： torch.Size([32])
0.conv.1.bias ： torch.Size([32])

和想象中一样：batchNorm中两组可学习参数；

******当我从训练好的模型中打印参数时*******


多了两组：：（running_mean,running_var）

千辛万苦后：(给出完美解释)


PyTorch踩坑指南（1）nn.BatchNorm2d()函数
白水煮蝎子
04-16 2万+
前言 最近在研究深度学习中图像数据处理的细节，基于的平台是PyTorch。心血来潮，总结一下，好记性不如烂笔头。 Batch Normalization 对于2015年出现的Batch Normalization1，2018年的文章Group Normalization2在Abstract中总结得言简意赅，我直接copy过来。 Batch Normalization (BN) is a mile...
batchnorm2d参数 torch_Pytorch自由载入部分模型参数并冻结
weixin_36670529的博客
03-08 864
Pytorch的load方法和load_state_dict方法只能较为固定的读入参数文件，他们要求读入的state_dict的key和Model.state_dict()的key对应相等。 而我们在进行迁移学习的过程中也许只需要使用某个预训练网络的一部分，把多个网络拼和成一个网络，或者为了得到中间层的输出而分离预训练模型中的Sequential 等等，这些情况下。传统的load方法就不是很有效了。 例如，我们想利用Mobilenet的前7个卷积并把这几层冻结，后面的部分接别的结构，或者改写成FCN结构
Pytorch-nn.BatchNorm2d()
weixin_33795806的博客
12-11 461
Pytorch官方文档： 测试代码： 转自：https://blog.csdn.net/tmk_01/article/details/80679549 import torchimport torch.nn as nnm = nn.BatchNorm2d(2,affine=True) #weight(gamma)和bias(beta)将被使用input = torch.randn(1,2...
【Torch】nn.BatchNorm1d算法详解
最新发布
zkw54334的博客
07-01 1064
是 PyTorch 中用于一维特征的批归一化层（Batch Normalization），常用于对全连接层或一维卷积（Conv1d）输出进行归一化。它通过对每个特征通道的输出在批次维度（及可选的时间/序列维度）上做归一化，使网络训练更稳定、收敛更快，并具有一定的正则化效果。
nn.batchnorm2d
热门推荐
是鲤鱼啊
12-13 1万+
nn.Conv2d(in_channel, out_channel, 3, stride, 1, bias=False), nn.BatchNorm2d(out_channel), #BatchNorm2d最常用于卷积网络中(防止梯度消失或爆炸)，设置的参数就是卷积的输出通道数 nn.ReLU(inplace=True), http://www.mamicode.com/inf...
【深入理解Batch Normalization（3）】pytorch——nn.BatchNorm2d()函数
Hali_Botebie的博客
03-04 3609
https://blog.csdn.net/bigFatCat_Tom/article/details/91619977 https://pytorch-cn.readthedocs.io/zh/latest/package_references/torch-nn/#normalization-layers-source https://blog.csdn.net/t20134297/article/details/104960101 基本原理 对小批量(mini-batch)3d数据组成的4d[batch
PyTorch基础——torch.nn.BatchNorm2d
gy笨瓜的博客
10-17 9593
torch.nn>batchNorm2d：对输入batch进行batch normalize 以2 x 3 x 4 x 5输入为例，其中 2：batch中样本数量 3：每个样本通道数 4：每个样本行数 5：每个样本列数 第一个样本：3(通道) x 4(行) x 5(列) 141 138 143 144 145 138 135 ..
nn.BatchNorm2d()
Xiang_bin_bin的博客
10-13 700
一起来学习nn.BatchNorm2d()的原理参考链接：BatchNorm2d这是什么层BatchNorm2d详解。
nn.BatchNorm2d(oup)
04-28
### PyTorch 中 `nn.BatchNorm2d` 的用法与参数 #### 什么是 Batch Normalization？ Batch Normalization 是一种用于加速深度神经网络训练的技术，通过规范化每一层输入数据的分布来减少内部协变量偏移 (Internal ...
class LocalBottleNeck(nn.Module): def init(self): super(LocalBottleNeck, self).init() self.conv1 = self._make_branch(1024) self.conv2 = self._make_branch(1024) self.conv3 = self._make_branch(1024) self.down1 = nn.Sequential( nn.Conv2d(3072, 1024, 1, bias=False), nn.BatchNorm2d(1024), nn.Conv2d(1024, 1024, 3, 2, 1, bias=False), nn.BatchNorm2d(1024), nn.ReLU(), nn.Conv2d(1024, 2048, 1, bias=False), nn.BatchNorm2d(2048) ) self.down2 = nn.Sequential( nn.Conv2d(3072, 2048, 3, 2, 1, bias=False), nn.BatchNorm2d(2048), ) self.final = nn.Sequential( ResidualBlock(2048, 2048), ResidualBlock(2048, 2048), ) def _make_branch(self, out_ch): return nn.Sequential( nn.Conv2d(768, out_ch, 1), Conv_LayerNorm(out_ch), nn.Conv2d(out_ch, out_ch, 3, 1, 1, bias=False), Conv_LayerNorm(out_ch), ) def forward(self, feats): feats1 = self.conv1(feats[0]) feats2 = self.conv2(feats[1]) feats3 = self.conv3(feats[2]) fused = torch.concat([feats1, feats2, feats3], dim=1) fused = F.relu(self.down1(fused) + self.down2(fused)) return self.final(fused)这段代码用于将vitbase输入的第2、6、10层[1, 768, 14, 14]特征融合输出[1, 2048, 7, 7]最终用来还原widresnet50的特征，请你改写这段代码，提升还原精度，要求给出完整的代码实现，不要自己提出模块，尽量使用新颖有效经过检验的高效模块，方便论文书写，给出使用理由
03-24
self.bn1 = nn.BatchNorm2d(mip) self.act = nn.Hardswish(inplace=True) self.conv_h = nn.Conv2d(mip, oup, 1, bias=False) self.conv_w = nn.Conv2d(mip, oup, 1, bias=False) def forward(self, x): ...
class InvertedResidual_SE(nn.Module): """改进型倒残差块（CVPR 2023 GD-MobileNetV3设计）""" def __init__(self, inp, oup, stride, expand_ratio, reduction=4): super().__init__() self.stride = stride assert stride in [1, 2] hidden_dim = int(round(inp * expand_ratio)) self.use_res_connect = self.stride == 1 and inp == oup # 动态卷积选择（CVPR 2023改进） if expand_ratio == 1: self.conv = nn.Sequential( # 深度可分离卷积 nn.Conv2d(hidden_dim, hidden_dim, 3, stride, 1, groups=hidden_dim, bias=False), nn.BatchNorm2d(hidden_dim), h_swish(), # SE模块（改进压缩比） SELayer(hidden_dim, reduction=reduction), # 逐点卷积 nn.Conv2d(hidden_dim, oup, 1, 1, 0, bias=False), nn.BatchNorm2d(oup), ) else: self.conv = nn.Sequential( # 升维 nn.Conv2d(inp, hidden_dim, 1, 1, 0, bias=False), nn.BatchNorm2d(hidden_dim), h_swish(), # 深度可分离卷积 nn.Conv2d(hidden_dim, hidden_dim, 3, stride, 1, groups=hidden_dim, bias=False), nn.BatchNorm2d(hidden_dim), # SE模块（带门控机制） GatedSELayer(hidden_dim, reduction=reduction), h_swish(), # 降维 nn.Conv2d(hidden_dim, oup, 1, 1, 0, bias=False), nn.BatchNorm2d(oup), ) def forward(self, x): if self.use_res_connect: return x + self.conv(x) else: return self.conv(x)该模块函数输入参数只支持5个，但yoloV5中运行时会多添加一个参数，又由于yaml文件中配置的参数是[-1, 3, InvertedResidual_SE, [24, 3, 2, 4, 0.25]，会导致入参过多的问题
03-19
嗯，用户的问题是关于一个自定义的PyTorch模块InvertedResidual_SE在YOLOv5中运行时出现参数过多的问题。首先，我需要理解这个模块的结构以及它在YOLOv5中的配置情况。 用户提到，这个模块的设计来自CVPR 2023的GD-...
import torch.nn as nn def conv_bn(inp, oup, stride = 1): return nn.Sequential( nn.Conv2d(inp, oup, 3, stride, 1, bias=False), nn.BatchNorm2d(oup), nn.ReLU6() ) def conv_dw(inp, oup, stride = 1): return nn.Sequential( # nn.ZeroPad2d([0,1,0,1]) if stride == 2 else nn.ZeroPad2d([1,1,1,1]), nn.Conv2d(inp, inp, 3, stride, 1, groups=inp, bias=False), nn.BatchNorm2d(inp), nn.ReLU6(), nn.Conv2d(inp, oup, 1, 1, 0, bias=False), nn.BatchNorm2d(oup), nn.ReLU6(), ) class MobileNetV1(nn.Module): def __init__(self): super(MobileNetV1, self).__init__() self.stage1 = nn.Sequential( # 160,160,3 -> 80,80,32 conv_bn(3, 32, 2), # 80,80,32 -> 80,80,64 conv_dw(32, 64, 1), # 80,80,64 -> 40,40,128 conv_dw(64, 128, 2), conv_dw(128, 128, 1), # 40,40,128 -> 20,20,256 conv_dw(128, 256, 2), conv_dw(256, 256, 1), ) self.stage2 = nn.Sequential( # 20,20,256 -> 10,10,512 conv_dw(256, 512, 2), conv_dw(512, 512, 1), conv_dw(512, 512, 1), conv_dw(512, 512, 1), conv_dw(512, 512, 1), conv_dw(512, 512, 1), ) self.stage3 = nn.Sequential( # 10,10,512 -> 5,5,1024 conv_dw(512, 1024, 2), conv_dw(1024, 1024, 1), ) self.avg = nn.AdaptiveAvgPool2d((1,1)) self.fc = nn.Linear(1024, 1000) def forward(self, x): x = self.stage1(x) x = self.stage2(x) x = self.stage3(x) x = self.avg(x) # x = self.model(x) x = x.view(-1, 1024) x = self.fc(x) return x
05-28
nn.BatchNorm2d(oup), nn.ReLU6() # 使用ReLU6限制最大激活值 ) # 深度可分离卷积模块 def conv_dw(inp, oup, stride=1): return nn.Sequential( # 深度卷积(depthwise)：单个卷积核处理单个通道 nn.Conv2d...
Pytorch学习笔记(三):nn.BatchNorm2d()函数详解
源的博客
06-15 3873
Pytorch学习笔记(一):torch.cat()模块的详解 Pytorch学习笔记(二):nn.Conv2d()函数详解 Pytorch学习笔记(三):nn.BatchNorm2d()函数详解
nn.BatchNorm2d
jiugedexiaodi的博客
06-04 7408
今天查资料看到说batchnorm2d的作用如下 nn.BatchNorm2d(out_channel), #BatchNorm2d最常用于卷积网络中(防止梯度消失或爆炸)，设置的参数就是卷积的输出通道数 转一篇文章可以看看 Pytorch中的Batch Normalization操作 ...
nn.Batchnorm2d
xx_xjm的博客
09-29 517
学习
PyTorch库学习之nn.BatchNorm2d模块
qq_46396470的博客
08-11 992
是 PyTorch 深度学习框架中的一个模块，用于对二维卷积层的输出进行批量归一化（Batch Normalization）。批量归一化是一种常用的正则化技术，可以加速训练过程，提高模型的泛化能力。它通过规范化层的输入来减少内部协变量偏移，即确保网络的每一层输入数据的分布保持相对稳定。
PyTorch】详解nn模块的BatchNorm2d()函数
记录学习的小白
04-16 1万+
torch.nn.BatchNorm2d(num_features,eps=1e-05,momentum=0.1,affine=True,track_running_stats=True,device=None,dtype=None) 基本原理 在卷积神经网络的卷积层之后总会添加BatchNorm2d进行数据的归一化处理，这使得数据在进行Relu之前不会因为数据过大而导致网络性能的不稳定，BatchNorm2d()函数数学原理如下： ...
Batch Normalization原理及pytorch的nn.BatchNorm2d函数
Mr.horse的博客
02-15 4274
下面通过举个例子来说明Batch Normalization的原理，我们假设在网络中间经过某些卷积操作之后的输出的feature map的尺寸为4×3×2×2，4为batch的大小，3为channel的数目，2×2为feature map的长宽 整个BN层的运算过程如下图： 上图中，batch size一共是4, 对于每一个batch的feature map的size是3×2×2 对于...
Pytorch中批规范化(nn.BatchNorm2d())
weixin_45738220的博客
04-03 2326
有时模型训练好了，将训练完成后的参数读入网络做测试的时候发现效果变差。这极有可能就是BatchNorm出现问题。下面就对pytorch中的nn.BatchNorm2d()做一个详解。 这里先放上原文链接(大部分参考这篇文章) torch.nn.BatchNorm2d(num_features, eps=1e-05,momentum=0.1,affine=True, track_running_st...
评论 4
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值