深度学习-瓶颈结构（Bottleneck）

原创 已于 2023-01-06 10:43:08 修改 · 8.3k 阅读 · 39 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#深度学习 #人工智能

于 2022-12-06 20:06:50 首次发布
本文介绍ResNet中核心的“Deeper Bottleneck Architectures”（DBA），即Bottleneck结构。该结构通过先降维再升维的方式减少了网络参数数量，使网络更加深入并易于训练。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

1. 简介
论文：Deep Residual Learning for Image Recognition
ResNet的核心内容之一即“Deeper Bottleneck Architectures”（简称DBA），一言概之，bottleneck是一种特殊的残差结构。
在这里插入图片描述
Resnet论文里的原图如上（即Bottleneck V1 ），左图是普通的残差结构，右图是瓶颈结构。具体而言，block的输入和输出channel_num是一样的（上右图中是256，左图为64），

而在block结构中的channel_num（上右图中是64）是小于输入/输出channel_num（256），很形象。也就是先降维再升维。

2. 作用
换成bottleneck design以后，网络的参数减少了很多，深度也加深了，训练也就相对容易一些。

参考：
深度学习基础–Bottleneck(瓶颈) Architectures

深度学习瓶颈层（Bottleneck Layer）深度解析
浩瀚之水的专栏
06-04 370
瓶颈层是深度学习中一种战略性降维设计，通过在网络中引入压缩-扩展结构，显著提升模型效率与表达能力。
深度学习：ResNet网络与bottleneck架构
HUSTGO的博客
07-14 2451
ResNet（Residual Neural Network）是由何恺明等人在2015年提出的一种深度卷积神经网络。它的核心思想是引入残差块（Residual Block），解决了深度神经网络中常见的梯度消失和梯度爆炸问题，从而使得网络可以更深。残差学习：通过引入恒等映射（Identity Mapping），使网络能够更容易地学习到恒等函数，从而减轻梯度消失问题。跳跃连接：残差块通过跳跃连接（Skip Connection）直接将输入传递到输出，提高了信息传递的效率。更深的网络。
轻量级网络：Bottleneck结构（沙漏型结构）
01-20
Bottleneck 结构为之后的深度可分离卷积Depthwise Separable Conv打下了坚实的基础。 Bottleneck 结构 在Inception网络中为了减少参数量，我们想了很多的办法，例如：用多个小尺寸卷积代替一个大尺寸卷积； 做下面的变换：3×3 = 3×1 + 1×3，这个效果在深度较深的情况下比规整的卷积核更好 等等操作，当然也包括经典的Bottleneck结构。 Bottleneck结构就是为了降低参数量，Bottleneck 三步走是先 PW 对数据进行降维，再进行常规卷积核的卷积，最后 PW 对数据进行升维（类似于沙漏型）。我们举个例子，方便我们了解： 根据
深度学习基础--Bottleneck(瓶颈) Architectures
wydbyxr的博客
11-12 2万+
Bottleneck(瓶颈) Architectures   ResNet的核心内容之一，即“Deeper Bottleneck Architectures”（以下简称DBA），论文里的原图是这样的（Bottleneck V1 ）： 作用   换成bottleneck design以后，网络的参数减少了很多，训练也就相对容易一些。然后我们再看一下原作中的ResNet全貌。 ...
深入浅出之Bottleneck层、Res unit和ResX模块（YOLO）
浩瀚之水的专栏
09-19 4232
在YOLO系列算法中，Res unit（残差单元）和ResX是两个重要的组件，它们在网络结构中扮演着关键角色。以下是对这两个组件的详细解释：Res unit是借鉴了ResNet（残差网络）中的残差结构，旨在解决深层网络训练中的梯度消失或梯度爆炸问题，使网络能够构建得更深。在YOLO系列中，Res unit允许网络在增加深度的同时，保持较好的训练效果和性能。特点：ResX是YOLO系列中的一个大组件，它由一个CBL（Conv+Bn+Leaky_relu）和X个残差组件（Res unit）构成。在YOLOv3等
深度学习之bottleneck layer
热门推荐
deep_love1314的博客
05-17 3万+
一、 bottleneck layery中文名称：瓶颈层。我初次接触也就是在残差网络中。一般在较深的网络中，如resnet101中使用。 一般的结构如下： 其中两个1X1fliter分别用于降低和升高特征维度，主要目的是为了减少参数的数量，从而减少计算量，且在降维之后可以更加有效、直观地进行数据的训练和特征提取，对比如下图所示： 瓶颈层使用的是1*1的卷积神经网络，之所以称之为瓶颈层，是因为长得比较像一个瓶颈：中间比较细，像一个瓶子的颈部。 如上图所示，经过1x..
Deep Variational information bottleneck
12-09
“Deep Variational information bottleneck”这篇论文的核心就是将信息瓶颈理论和变分推断方法相结合，提出一种新的深度学习框架，即深度变分信息瓶颈（Dvib）。Dvib旨在通过深度网络结构，以数据驱动的方式自动...
Bottleneck（瓶颈残差块）代码详解
最新发布
浩瀚之水的专栏
06-15 622
Bottleneck​ 是 ResNet 中用于深层网络的核心模块，设计目标是平衡计算量和模型表达能力，是 ResNet-50/101/152 等深度模型的基础模块。
论文解读|BMVC 2019|DABNet: Depth-wise Asymmetric Bottleneck for Real-time Semantic Segmentation
Akita·Wang's Semantic Segmentation
05-19 915
DABNet: Depth-wise Asymmetric Bottleneck for Real-time Semantic Segmentation Paper：DABNet Github：Code 摘要 语义分割作为一项像素级的预测任务，需要巨大的计算量和参数才能获得高性能。最近，由于对自主系统和机器人的需求不断增加，在准确性和推理速度之间进行权衡是很重要的。本文提出了一种新颖的深度不对称瓶颈模块来解决这一难题，该模块有效地采用深度不对称卷积和扩张卷积来构建瓶颈结构。基于深度非对称瓶颈网络模块，
【深度学习】移动翻转瓶颈卷积的实现(mobile inverted bottleneck convolution)
李响
05-23 2912
【深度学习】移动翻转瓶颈卷积的实现(mobile inverted bottleneck convolution) 文章目录 1 MBConv 1.1 Depthwise Convolution 1.2 SE-Net 1.3 EfficientNet-B0网络结构 2 卷积层的变体和替代 3 MobileNetV3 1 MBConv 移动翻转瓶颈卷积（mobile inverted bottleneck convolution，MBConv），类似于 MobileNetV2 和 MnasNet，由深
Bottleneck结构（附代码）
蓝羽飞鸟的博客
03-20 7809
Bottleneck结构出现在resnet中，参考paper 结构如下 左边是一个resnet block，右边是一个和它时间复杂度类似的bottleneck block。 bottleneck由三层组成：1x1, 3x3, 1x1，其中1x1负责缩小放大channel。 为什么要用这个结构呢，paper里是这样说的： 一般来说，增加网络的深度可以提高accuracy, 但是会增加计算量，而bottleneck既增加了深度，计算量又可以得到节约。 参考代码 class Bottleneck2D(nn.Mo
Bottleneck瓶颈型结构
qq_42178122的博客
06-12 4382
瓶颈结构指的是通道数的变化，即原通道数减少再增大，用瓶颈来形容这一句结构较为抽象。 在resnet中的应用，从下面的右图可知道输入的维度是256，输出的维度也是256，中间维度是64,即数据的通道数先经过减少，后再增加到原来的大小，这就是Bottleneck瓶颈型结构。 参考链接： https://blog.youkuaiyun.com/DanTaWu/article/details/111468257?utm_medium=distribute.pc_relevant.none-task-blog-baidujs_
Deeper Bottleneck(瓶颈) Architectures
wydbyxr的博客
11-28 1771
Deeper Bottleneck(瓶颈) Architectures   看50-layer那一栏，在进入到DBA层之前的网络比较简单，分别是：①卷积层"7×7, 64, stride 2"、②BN层、③ReLU层、④池化层"3×3 max pool, stride 2"，最终的输出结果是一个大小为 [batch_size, height, width, kernels] 矩阵。   再看c...
理解bottleneck architecture
GL3_24的博客
05-28 7842
本篇博文主要是讨论为什么叫 bottleneck architecture bottleneck architecture翻译过来叫做瓶颈结构，瓶颈结构的特点是一头大一头小。 这个是针对于网络结构中输入/输出的维度(dimensions)来讲的。 来看一下Deep Residual Learning for Image Recognition(ResNet)论文当中的一部分。对应结构为下图。 ...
关于瓶颈结构
weixin_40459958的博客
08-01 2209
瓶颈设计的思想是引入一个瓶颈层，它由一系列不同大小的滤波器组成，通常是1x1、3x3和1x1的卷积层序列。这个序列首先用1x1的卷积核进行降维，然后使用3x3的卷积核进行特征提取，最后再用1x1的卷积核进行升维。在深度学习中，“bottleneck”（瓶颈）指的是一种网络模块或设计，主要用于减少计算量和参数数量，从而提高模型的性能和效率。瓶颈设计的名称"bottleneck"（瓶颈）来自于它的结构，因为在特征图经过1x1的卷积核降维后，其通道数被显著地减小，形象地类似于瓶颈的形状。——来自ChatGPT。
深度学习之Bottleneck Layer or Bottleneck Features
Mihu_Tutu的博客
10-23 1389
在深度学习中经常听闻Bottleneck Layer 或 Bottleneck Features ，亦或 Bottleneck Block，其虽然容易理解，其意思就是输入输出维度差距较大，就像一个瓶颈一样，上窄下宽亦或上宽下窄，然而其正儿八经的官方出处没有一个能说出其所以然来，下面本文将对Bottleneck Layer 或 Bottleneck Features ，亦或 Bottleneck...
resnet瓶颈结构
03-27
### ResNet中的瓶颈结构及其工作原理 ResNet（深度残差网络）是一种用于解决深层神经网络梯度消失和退化问题的有效架构。其中，**瓶颈结构**是ResNet的一种特殊设计形式，主要用于减少计算开销并提高模型效率。 #### 瓶颈结构的设计理念 瓶颈结构的核心在于通过降低特征维度的方式减少计算量，同时保持甚至提升模型的表现能力。具体而言，这种结构通常由三个卷积层组成： 1. **第一个卷积层**是一个 \(1 \times 1\) 的降维操作，目的是减少通道数从而降低后续运算的复杂度[^2]。 2. **第二个卷积层**是一个标准的 \(3 \times 3\) 卷积核，负责提取局部特征。 3. **第三个卷积层**再次使用 \(1 \times 1\) 卷积核进行升维操作，恢复原始通道数量以便与其他部分相加[^1]。 以下是典型的瓶颈模块代码实现： ```python import torch.nn as nn class Bottleneck(nn.Module): expansion = 4 # 扩展因子定义最终输出通道数为输入通道数的四倍 def __init__(self, in_channels, out_channels, stride=1, downsample=None): super(Bottleneck, self).__init__() self.conv1 = nn.Conv2d(in_channels, out_channels, kernel_size=1, bias=False) self.bn1 = nn.BatchNorm2d(out_channels) self.conv2 = nn.Conv2d(out_channels, out_channels, kernel_size=3, stride=stride, padding=1, bias=False) self.bn2 = nn.BatchNorm2d(out_channels) self.conv3 = nn.Conv2d(out_channels, out_channels * self.expansion, kernel_size=1, bias=False) self.bn3 = nn.BatchNorm2d(out_channels * self.expansion) self.relu = nn.ReLU(inplace=True) self.downsample = downsample def forward(self, x): identity = x out = self.conv1(x) out = self.bn1(out) out = self.relu(out) out = self.conv2(out) out = self.bn2(out) out = self.relu(out) out = self.conv3(out) out = self.bn3(out) if self.downsample is not None: identity = self.downsample(x) out += identity out = self.relu(out) return out ``` 上述代码展示了如何构建一个完整的瓶颈模块，其中包括了三个主要的卷积操作以及批量归一化（Batch Normalization）和激活函数ReLU的应用。 #### 工作原理详解 瓶颈结构的工作流程可以分为以下几个方面： - **降维阶段**: 初始的 \(1 \times 1\) 卷积减少了输入张量的通道数，降低了后续处理所需的资源消耗。 - **特征提取阶段**: 中间的 \(3 \times 3\) 卷积专注于捕捉空间上的局部模式，这是传统 CNN 常见的操作方式。 - **升维阶段**: 最后的 \(1 \times 1\) 卷积重新扩展通道数目至初始大小或者更高水平，确保能够与跳过连接（skip connection）兼容。 此外，ResNet还引入了恒等映射（identity mapping），即所谓的跳跃连接或短路连接(shortcut connections)，使得前馈过程中可以直接传递未经修改的信息给后面的层，这极大地缓解了训练超深网络时遇到的各种困难。 #### 实验验证与优势体现 研究表明，在ImageNet数据集上测试不同层数(如50、101、152层)版本的ResNet发现，较深层次的确带来了更低误差率，并且相比其他经典模型(AlexNet,VGG),即使拥有更多堆叠层次却仍维持较低计算成本。 这种特性使ResNet成为现代计算机视觉任务中不可或缺的基础组件之一。 --- ###
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值