IBN-Net ResNetIBN的原理以及DSBN的代码

最新推荐文章于 2025-04-17 07:46:36 发布
原创 最新推荐文章于 2025-04-17 07:46:36 发布 · 4.1k 阅读 · 13 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#pytorch #深度学习 #机器学习 #人员定位

IBN-Net

IBN-Net由《Two at Once: Enhancing Learning and Generalization Capacities via IBN-Net》这篇文章提出。
归一化层，目前主要有这几个方法，Batch Normalization（2015年）、Layer Normalization（2016年）、Instance Normalization（2017年）、Group Normalization（2018年）、Switchable Normalization（2018年）；
将输入的图像shape记为[N, C, H, W]，这几个方法主要的区别就是在
在这里插入图片描述

batchNorm是在batch上，对NHW做归一化，对小batchsize效果不好；
layerNorm在通道方向上，对CHW归一化，主要对RNN作用明显；
instanceNorm在图像像素上，对HW做归一化，用在风格化迁移；
GroupNorm将channel分组，然后再做归一化；
SwitchableNorm是将BN、LN、IN结合，赋予权重，让网络自己去学习归一化层应该使用什么方法。
根据BN和IN的定义， BN是增加样本间的差异，IN是提高对亮度，色调变化的鲁棒性。
在这里插入图片描述
这个作者用resnet50，分别在两对样本集上训练，横坐标是层的索引，纵坐标是特征差异（论文最后有对特征差异的定义，高斯+KL散度）。
蓝色柱状图是resnet50在Imagenet和其对应的monet版本，二者最大的差异是颜色

最低0.47元/天 解锁文章
模型部署｜ResNet_ibn基于TensorRT FP32生成Engnie文件的C++工程
迈微AI研习社 · 号主
09-28 584
#TensorRT模型部署# ResNet_ibn基于TensorRT FP32生成Engnie文件的C++工程，Linux运行，可自行修改到win下使用，推理代码可自行根据自己的实际情况书写，需要的小伙伴自取哈。图片为执行步骤和代码中文注释界面。
【IBN-Net】
lxh15108010917的博客
06-04 569
本文提出了IBN-Net，这是一种新颖的卷积架构，它显着提高了CNN在一个领域（例如Cityscapes）上的建模能力以及其在另一个领域（例如GTA5）上的泛化能力，而无需微调。IBN-Net将Instance Normalization（IN）和Batch Normalization（BN）作为构建块进行了精心整合，并可以包装到许多先进的深度网络中以提高其性能。
IBN-Net: 提升模型的域自适应性
pprp的博客
04-08 2871
本文解读内容是IBN-Net, 笔者最初是在很多行人重识别的库中频繁遇到比如ResNet-ibn这样的模型，所以产生了阅读并研究这篇文章的兴趣，文章全称是: 《Two at Once: Enhancing Learning and Generalization Capacities via IBN-Net》。IBN-Net和SENet非常相似： 可以方便地集成到现有网络模型中。 在多个视觉任务中...
resnet101_ibn_a.pth.tar
06-12
resnet101_ibn_a.pth.tar，京东开源的face-reid中行人重识别数据集Market1501-resnet101预训练模型。（由于google云盘下载速度偏慢，所以上传到这里） 此处非常感谢京东与模型的分享者。
IBN-Net
大泽之国
08-15 3332
参考 Two at Once: Enhancing Learning and Generalization Capacities via IBN-Net 简介 Instance Normalization在样式迁移领域取得比Batch Normailzation更好的效果，但是在识别分类领域中没有带来提升。本文研究了IN和BN的区别，并成功把二者应用到同一个框架中，提高识别分类的准确度，...
IBN-Net.mxnet:IBN-Net的MXNet实现（Resnet-IBN-a，Resnext-IBN-a，Resnext-IBN-b）
03-21
IBN-Net.mxnet IBN-Net的MXNet实现（Resnet-IBN-a，Resnext-IBN-a，Resnext-IBN-b）。 （ Resnet-IBN-a 50,101,152，Resnext-IBN-a 50,101,152，Resnext-IBN-b 50,101,152 ） 这是一个实现IBN-网（RESNET-IBN-A 50101152）在论文中描述的架构提出，平罗，建平石，和晓鸥汤。 ECCV 2018接受了本文。他们凭借此IBN-Net区块赢得了WAD 2018挑战可驾驶区域赛道的第一名。 作者的pytorch实现可在GitHub的中找到。 这是一个实例批处理规范化（IBN）块的说明。 Resnet-IBN-a是根据（b）IBN-a实现的。请注意，我们的Resnet实现遵循“ ”中的“深层残留网络中的身份映射”。它与作者的pytorch版本略有不同。
【Backbone】IBN-Net
Arron_hou的博客
05-03 822
IBN-Net Two at Once: Enhancing Learning and Generalization Capacities via IBN-Net https://arxiv.org/abs/1807.09441 Xingang Pan1, Ping Luo1, Jianping Shi2, and Xiaoou Tang1 出自商汤, ECCV2018 Question 如何提高...
ResNet50-IBN-A模型权重文件（D9D0BB7B）
06-17
ResNet50-IBN-A模型权重文件（D9D0BB7B）是深度学习领域中计算机视觉的一个重要资源，它代表了一个使用残差网络（ResNet）架构的预训练模型，该模型具备身份瓶颈网络（Identity Bottleneck Network，简称IBN）的改进...
resnet50_ibn_a-d9d0bb7b.pth
09-04
fast-reid需要的预训练模型resnet50_ibn_a-d9d0bb7b.pth，需要请自行下载。
IBN-Net 笔记
年轻即出发，
10-13 6023
论文：Two at Once: Enhancing Learning and Generalization Capacities via IBN-Net  Github：https://github.com/XingangPan/IBN-Net   ECCV2018，港中文商汤联合实验室的作品。作者使用该IBN-Net网络以mIoU 86.18% 的成绩，赢得了WAD 2018 Challe...
dsbn_aistats2015:2015年AISTATS论文的Matlab代码“通过数据增强学习深度Sigmoid信念网络”
05-08
深sigmod信念网络 2015年AISTATS论文的Matlab代码“通过数据增强学习深度Sigmoid信念网络” 哲（（ ），杜克大学ECE系。 介绍 该代码实现了2015年AISTATS论文中具有相同标题的深度S型信念网络（DSBN）。 该源代码是出于可重现性目的而公开提供的，它并未针对速度进行优化，文档最少，但功能齐全。 执照 请注意，使用此代码需要您自担风险。 没有暗示保证它不会做任何愚蠢的事情。 授予使用和修改代码的权限。 引用DSBN 如果对您的研究有帮助，请在您的出版物中引用我们的AISTATS论文： @inproceedings{DSBN_AISTATS2015, Author = {Z. Gan, R. Henao, D. Carlson, and L. Carin}, Title = {Learning Deep Sigmoid Belief Netw
resnet34_ibn_a-94bc1577.7z
01-13
resnet34_ibn_a-94bc1577.7z
探索前沿深度学习模型：IBN-Net
gitblog_00065的博客
04-12 458
探索前沿深度学习模型：IBN-Net 在当今的计算机视觉领域，深度学习模型如卷积神经网络（CNN）已经取得了显著的进步，特别是在图像识别和分类任务上。 是这样一个创新项目，由Xingang Pan领导的研究团队开发，旨在通过引入**Instance-Batch Normalization（实例批次归一化）**来提高深度学习模型的泛化能力。 项目简介 IBN-Net 是一个深度学习网络结构，它结合了...
IBN-NET
xys430381_1的专栏
01-16 651
Two at Once: Enhancing Learning and Generalization Capacities via IBN-Net论文笔记 https://blog.csdn.net/sunyao_123/article/details/81294724 IBN-NET要点： 通过将IN和BN的组合提出了IBN-Net,IN主要可以学习视觉表现变化的相关性，例如颜色，风格，真假等。...
【大模型与机器学习解惑】ResNet50-D、ResNet50-IBN、ResNet-RS 这些改进版主要改了哪些层？
人工智能(AI)技术，大模型技术，深度学习，机器学习，计算机视觉，AI工具实践应用等分享
04-17 1301
【大模型与机器学习解惑】ResNet50-D、ResNet50-IBN、ResNet-RS 这些改进版主要改了哪些层？
图解Resnet50，SE，IBN，分析如何将se,ibn融入到Resnet50（看图更易理解哦）
Mr_DaYang的博客
10-07 9988
resnet代码解析
DSGN：基于深度立体几何网络的3D目标检测（香港大学提出）
qq_29462849的博客
02-17 1478
作者：Tom Hardy Date：2020-2-17 来源：DSGN：基于深度立体几何网络的3D目标检测（香港大学提出） 原文链接：https://arxiv.org/pdf/2001.03398.pdf 主要思想与创新点 大多数最先进的三维目标检测器严重依赖激光雷达传感器。由于在三维场景中的预测不准确，基于图像的方法与基于激光雷达的方法在性能上仍有很大差距。本文提出了深度立体几何网络（DS...
探索IBN-Net：增强学习与泛化能力的新时代CNN模型
gitblog_01075的博客
08-19 1077
探索IBN-Net：增强学习与泛化能力的新时代CNN模型 项目介绍 IBN-Net，全称Instance-Batch Normalization Network，是一种结合了实例归一化（Instance Normalization）和批量归一化（Batch Normalization）的卷积神经网络（CNN）模型。该模型由Xingang Pan, Ping Luo, Jianping Shi, 和...
ResNet学习
qq_44708206的博客
10-27 1227
ResNet学习
IBN-Net模型图
最新发布
08-24
IBN-Net（Instance Normalization and Batch Normalization Network）是一种结合了实例归一化（Instance Normalization, IN）和批归一化（Batch Normalization, BN）的深度学习模型架构，旨在提升网络在不同任务和域适应场景下的表现。该模型最初被提出用于解决图像风格迁移与内容保持之间的平衡问题，其核心思想是在网络的不同层次中混合使用IN和BN操作，以同时获得风格迁移能力和内容识别的稳定性。 IBN-Net的基本结构可以基于多种骨干网络进行构建，例如ResNet、ResNeXt等。以ResNet为例，IBN-Net的改进主要体现在其残差块的设计上。在标准的ResNet残差块中，仅使用BN进行归一化。而在IBN-Net中，部分BN层被替换为IN层，通常是在浅层使用IN以适应风格变化，而在深层保留BN以增强内容识别能力[^2]。 ### IBN-Net架构的关键特点 1. **混合归一化策略**：IBN-Net的核心特性是在不同层次使用IN和BN的组合。这种策略能够同时保留图像的风格信息和内容信息，从而在域适应任务中表现出色。 2. **模块化设计**：IBN-Net通常基于现有的网络架构（如ResNet）进行改造，通过在特定的残差块中插入IN层来实现。这种设计使得IBN-Net可以灵活地应用于不同的任务。 3. **增强的域适应能力**：由于IN能够去除图像的全局统计信息（如均值和方差），而BN保留了这些信息，因此IBN-Net在跨域任务（如从合成数据到真实数据的迁移）中表现出更强的适应性。 以下是一个基于ResNet-50的IBN-Net残差块设计示例： ```python class IBN_Bottleneck(nn.Module): expansion = 4 def __init__(self, inplanes, planes, ibn=None, stride=1, downsample=None): super(IBN_Bottleneck, self).__init__() self.conv1 = nn.Conv2d(inplanes, planes, kernel_size=1, bias=False) if ibn == 'a': self.bn1 = IBN(planes) else: self.bn1 = nn.BatchNorm2d(planes) self.conv2 = nn.Conv2d(planes, planes, kernel_size=3, stride=stride, padding=1, bias=False) self.bn2 = nn.BatchNorm2d(planes) self.conv3 = nn.Conv2d(planes, planes * self.expansion, kernel_size=1, bias=False) self.bn3 = nn.BatchNorm2d(planes * self.expansion) self.relu = nn.ReLU(inplace=True) self.downsample = downsample self.stride = stride def forward(self, x): residual = x out = self.conv1(x) out = self.bn1(out) out = self.relu(out) out = self.conv2(out) out = self.bn2(out) out = self.relu(out) out = self.conv3(out) out = self.bn3(out) if self.downsample is not None: residual = self.downsample(x) out += residual out = self.relu(out) return out ``` 在上述代码中，`IBN`是一个自定义的混合归一化层，根据参数`ibn`的选择，可以选择使用IN或BN。这种设计允许在不同的网络层中灵活切换归一化方式，从而实现IBN-Net的核心思想。 ### IBN-Net的应用场景 IBN-Net广泛应用于需要域适应能力的任务，例如： - **图像风格迁移**：通过IN去除图像的全局统计信息，保留局部特征，从而实现风格的迁移。 - **跨域图像识别**：在目标域数据分布与源域差异较大的情况下，IBN-Net能够通过IN和BN的结合提高模型的泛化能力。 - **医学图像分析**：在医学图像领域，由于不同设备或采集条件的影响，图像的统计特性可能差异较大，IBN-Net能够有效适应这种变化。 ### IBN-Net的可视化展示 虽然具体的IBN-Net结构图或架构示意图无法直接提供，但可以通过以下方式构建其可视化表示： 1. **网络结构图**：使用工具如Netron或TensorBoard，可以将IBN-Net的模型结构导出为可视化图，展示各层的连接关系。 2. **特征图可视化**：通过Grad-CAM等技术，可以可视化IBN-Net在不同层的特征响应，帮助理解其在风格和内容上的处理机制。 3. **归一化层分布图**：绘制IN和BN在不同层中的分布情况，分析其对网络性能的影响。 通过上述方法，可以更直观地理解IBN-Net的架构设计及其在实际任务中的表现。
评论 1
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值