详解YOLOv5中的Bottleneck

原创 已于 2023-02-18 15:50:52 修改 · 2.6w 阅读 · 228 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#python #人工智能 #深度学习 #机器学习

于 2022-01-20 10:40:33 首次发布
本文详细介绍了残差网络中的Bottleneck结构及其在YOLOv5中的应用。对比了Bottleneck与Buildingblock的区别，并深入分析了YOLOv5中Bottleneck的结构变化及代码实现。

深度学习入门小菜鸟，希望像做笔记记录自己学的东西，也希望能帮助到同样入门的人，更希望大佬们帮忙纠错啦~侵权立删。

目录

一、背景知识 -- 残差结构

二、Bottleneck和building block

三、YOLOv5中的Bottleneck

1、结构分析

2.代码分析（内含注释分析）

一、背景知识 -- 残差结构

关于残差以及一些残差网络（eg: Resnet）的分析，可以看一下博主之前写的博客

深度学习之Resnet详解_tt丫的博客-优快云博客

二、Bottleneck和building block

说到Bottleneck，就会想到他的“兄弟” -- building block。Bottleneck和building block其实都是在Resnet中提出的。如下图所示，左边是针对Resnet34提出的building block；右边是针对Resnet50提出的Bottleneck。

watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBAdHTkuKs=,size_20,color_FFFFFF,t_70,g_se,x_16

  building block由两个3*3的卷积层组成，Bottleneck由两个1*1卷积层夹心一个3*3卷积层组成：其中1*1卷积层负责减少然后增加（实际上就是恢复）维数，让3*3卷积层成为输入/输出维数更小的瓶颈。Bottleneck既减少了参数量，又优化了计算，保持了原有的精度。

第一个1*1的卷积把256维channel降到64维，最后再通过

最低0.47元/天 解锁文章
深入浅出之CSPBlock模块（YOLO）
浩瀚之水的专栏
09-19 6393
YOLO CSPX模块是YOLO系列算法中的一个重要组成部分，它通过跨阶段部分连接的方式减少了计算量，同时保证了模型的准确率。在YOLOv4及后续版本中，CSPX模块被广泛应用于主干网络和Neck结构中，为模型提供了强大的特征提取和融合能力。
【YOLO】深入理解 CSP 瓶颈模块的变种：Bottleneck、C3、C3k、C2f 和 C3k2
YOLOv8项目贡献者
11-25 1万+
深入理解 CSP 瓶颈模块的变种：Bottleneck、C3、C3k、C2f 和 C3k2
​深入解析YOLOv5核心源码：Focus、CSP与PANet
最新发布
2302_77370299的博客
10-27 751
YOLOv5作为单阶段目标检测领域的标杆之一，以其出色的速度和精度平衡备受青睐。其卓越的性能不仅源于YOLO系列的整体思想，更得益于其在网络结构上的精心设计。今天，我们将抛开故作深沉的理论堆砌，直接深入YOLOv5的源码，一起看看几个关键模块是如何工作的。
万字详解YOLOv8网络结构Backbone/neck/head以及Conv、Bottleneck、C2f、SPPF、Detect等模块
热门推荐
专注于图像领域，主要研究内容包括计算机视觉和深度学习，特别是在图像分类、目标检测和图像生成等方面有深入的研究和实践经验。
05-26 11万+
YOLOv8是由Ultralytics开发的最先进的目标检测模型，推升了速度、准确性和用户友好性的界限。YOLO这一缩写代表“你只看一次”（You Only Look Once），通过在一次网络传递中同时预测所有边界框，提升了算法的效率和实时处理能力。相比之下，其他一些目标检测技术需要经过多个阶段或过程来完成检测。YOLOv8在流行的YOLOv5架构上进行了扩展，在多个方面提供了改进。
YOLOv5中的Bottleneck
qq_34425255的博客
10-06 348
看源代码应该是,先走1*1从c1降维到c_,再走3*3直接将c_升维到c2(其中c1为input_channel,c2为output_channel,c_为中间降维的channel,只有shortcut为True且c1==c2才做残差add操作,并不是concat!先将channel 数减小再扩大（默认减小到一半），具体做法是先进行1×1卷积将channel减小一半，再通过3×3卷积将通道数加倍，并获取特征（共使用两个标准卷积模块）接着经过3乘3卷积变成160×160×64。变成160×160×32。
yolo组件之Bottleneck层总结
yueguang8的博客
03-04 1万+
Bottleneck模块的目的就是为了降低网络参数，提高网络训练、推理的速度并提升特征提取能力。文章介绍了在Resnet、yolov5、yolov8不同的网络中，Bottleneck的结构、参数的差异，以及在推理部署的时候需要注意的事项。
YOLOv8中Bottleneck模块详解
zzzyyy8的博客
09-01 7113
Bottleneck 模块在YOLOv8中的作用是进行特征提取和增强，是网络中的核心构建模块之一。它的主要功能是通过卷积操作来处理输入特征图，并在适当情况下应用残差连接，使得信息能够有效地通过网络层进行传播
YOLOv8中Bottleneck模块结构与实现详解
YOLOv8中的Bottleneck模块是整个目标检测网络架构中极为关键的组成部分，它作为骨干网络（Backbone）和检测头（Head）部分的核心构建单元，承担着特征提取、信息增强与梯度流动优化的重要职责。该模块的设计灵感源自...
深入浅出之Bottleneck层、Res unit和ResX模块（YOLO）
浩瀚之水的专栏
09-19 5514
在YOLO系列算法中，Res unit（残差单元）和ResX是两个重要的组件，它们在网络结构中扮演着关键角色。以下是对这两个组件的详细解释：Res unit是借鉴了ResNet（残差网络）中的残差结构，旨在解决深层网络训练中的梯度消失或梯度爆炸问题，使网络能够构建得更深。在YOLO系列中，Res unit允许网络在增加深度的同时，保持较好的训练效果和性能。特点：ResX是YOLO系列中的一个大组件，它由一个CBL（Conv+Bn+Leaky_relu）和X个残差组件（Res unit）构成。在YOLOv3等
【目标检测】YOLOv5 网络结构，bottleneckCSP 与 C3 模块图解
Jiangnan_Cai的博客
03-29 1万+
YOLOv5 作为 YOLO 家族的第五个版本，本身也演进了几个子版本，现在网上的资料都没有标注具体是哪个子版本的，导致不同文章之间各种混乱，像是盲人摸象。其实官方的里对各个版本的变动其实都讲得非常清楚了。下面简单说一下各版本用到的模块：V1.0版本V2.0版本在V1.0版本基础上删去nn.Conv2d，并且Detect指定为17, 20, 23层输出。V4.0版本用C3代替了BottleneckCSP，而其他的结构不变。CBL 也换成了 CBS，使用 SiLU 作为激活函数。
bottleneck理解
guoyueyang的博客
04-12 6万+
bottleneck简单翻译就是瓶颈层，一般在深度较高的网络（如resnet101）中使用，一般结构如下图所示。 其中两个1X1fliter分别用于降低和升高特征维度，主要目的是为了减少参数的数量，从而减少计算量，且在降维之后可以更加有效、直观地进行数据的训练和特征提取，对比如下图所示。 参考博客： https://www.jianshu.com/p/243ee5803837 https://...
轻量级网络：Bottleneck结构（沙漏型结构）
01-20
Bottleneck 结构为之后的深度可分离卷积Depthwise Separable Conv打下了坚实的基础。 Bottleneck 结构 在Inception网络中为了减少参数量，我们想了很多的办法，例如：用多个小尺寸卷积代替一个大尺寸卷积； 做下面的变换：3×3 = 3×1 + 1×3，这个效果在深度较深的情况下比规整的卷积核更好 等等操作，当然也包括经典的Bottleneck结构。 Bottleneck结构就是为了降低参数量，Bottleneck 三步走是先 PW 对数据进行降维，再进行常规卷积核的卷积，最后 PW 对数据进行升维（类似于沙漏型）。我们举个例子，方便我们了解： 根据
YOLOv5改进之十七：CNN+Transformer——融合Bottleneck Transformers
weixin_43960370的博客
04-11 3822
​前 言：作为当前先进的深度学习目标检测算法YOLOv5，已经集合了大量的trick，但是还是有提高和改进的空间，针对具体应用场景下的检测难点，可以不同的改进方法。此后的系列文章，将重点对YOLOv5的如何改进进行详细的介绍，目的是为了给那些搞科研的同学需要创新点或者搞工程项目的朋友需要达到更好的效果提供自己的微薄帮助和参考。
yolov5
jacke121的专栏
06-12 3931
https://github.com/ultralytics/yolov5
【Yolov系列】Yolov5学习（一）：大致框架
qq_43737512的博客
04-24 1万+
Yolov5学习（一）：大致框架
Bottleneck结构（附代码）
蓝羽飞鸟的博客
03-20 8015
Bottleneck结构出现在resnet中，参考paper 结构如下 左边是一个resnet block，右边是一个和它时间复杂度类似的bottleneck block。 bottleneck由三层组成：1x1, 3x3, 1x1，其中1x1负责缩小放大channel。 为什么要用这个结构呢，paper里是这样说的： 一般来说，增加网络的深度可以提高accuracy, 但是会增加计算量，而bottleneck既增加了深度，计算量又可以得到节约。 参考代码 class Bottleneck2D(nn.Mo
yolov5 结构知识点解析
huangli19870217的专栏
07-18 1万+
yolov5
YOLO系列基础（二）Bottleneck瓶颈层原理详解
千天夜的博客
11-08 4218
bottleneck层最初是在ResNet网络中初次提出，通过降低计算量使得神经网络网络深度可以进一步增加。下图为瓶颈层的结构图左侧是没有瓶颈层的残差网络，对于残差网络我们放置下一篇介绍，此处不用管这个看似很NB的名称。右侧则是称为有瓶颈层的残差网络。有啥区别呢？左侧仅仅是做了一层常规的3*3卷积核的卷积层，激活之后再次通过另外一次3*3卷积核的卷积层。右侧则是通过了一层1*1的卷积层、激活之后再通过3*3的卷积层激活之后再一次通过1*1的卷积层。我为什么要复述一遍……。
BottleNeck
07-19
在深度学习中，**Bottleneck** 架构是一种优化模型结构、提升计算效率的重要设计模式，尤其在ResNet（残余网络）中得到了广泛应用。这种结构通过减少中间层的参数数量和计算量，在保证模型性能的同时显著降低了资源消耗。 ### Bottleneck 结构的设计原理 Bottleneck 模块通常由三个卷积层组成：一个 1×1 卷积用于降维，接着是一个 3×3 卷积用于提取空间特征，最后再通过一个 1×1 卷积恢复维度。这种“压缩-处理-扩展”的方式有效减少了计算冗余，同时保留了网络的表达能力。例如，在 ResNet-50 中，每个 Bottleneck 块的输入通道数通常被压缩到原始维度的 1/4，从而显著减少了参数数量和计算复杂度[^1]。 ### Bottleneck 在模型优化中的作用 通过引入 Bottleneck 结构，深度神经网络可以在保持较高准确率的同时显著降低计算成本。例如，ResNet-50 相较于 ResNet-18 在深度增加的情况下，其参数数量并未显著上升，这主要归功于 Bottleneck 的设计优化了每一层的特征提取效率。此外，Bottleneck 还有助于缓解梯度消失问题，使得深层网络的训练更加稳定和高效[^1]。 ### Bottleneck 与信息瓶颈原理的关系 虽然 Bottleneck 结构主要应用于网络架构优化，但其设计理念与信息瓶颈（Information Bottleneck, IB）原理在理论上存在一定的联系。信息瓶颈理论强调在学习过程中保留任务相关的信息，同时压缩冗余信息，以提高表示的效率和泛化能力。类似地，Bottleneck 模块通过压缩通道数减少冗余信息的传播，从而让网络更专注于关键特征的学习[^2]。 ### 示例代码：ResNet 中的 Bottleneck 模块 以下是一个基于 PyTorch 实现的 Bottleneck 模块示例： ```python import torch.nn as nn class Bottleneck(nn.Module): expansion = 4 # 输出通道是输入通道的4倍 def __init__(self, in_channels, out_channels, stride=1, downsample=None): super(Bottleneck, self).__init__() self.conv1 = nn.Conv2d(in_channels, out_channels, kernel_size=1, bias=False) self.bn1 = nn.BatchNorm2d(out_channels) self.conv2 = nn.Conv2d(out_channels, out_channels, kernel_size=3, stride=stride, padding=1, bias=False) self.bn2 = nn.BatchNorm2d(out_channels) self.conv3 = nn.Conv2d(out_channels, out_channels * self.expansion, kernel_size=1, bias=False) self.bn3 = nn.BatchNorm2d(out_channels * self.expansion) self.relu = nn.ReLU(inplace=True) self.downsample = downsample self.stride = stride def forward(self, x): identity = x out = self.conv1(x) out = self.bn1(out) out = self.relu(out) out = self.conv2(out) out = self.bn2(out) out = self.relu(out) out = self.conv3(out) out = self.bn3(out) if self.downsample is not None: identity = self.downsample(x) out += identity out = self.relu(out) return out ``` 该模块通过 1×1 卷积压缩通道数，再使用 3×3 卷积提取特征，最后通过 1×1 卷积恢复通道数，实现了高效的特征表达与计算优化。 ---
评论 13
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

tt丫

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值