ResNet-50网络理解

原创 已于 2022-02-23 15:57:52 修改 · 10w+ 阅读 · 612 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#卷积神经网络 #计算机视觉

于 2019-12-19 11:26:59 首次发布
本文深入探讨ResNet-50深度残差网络结构，解释其如何解决深度网络训练难题，包括卷积、特征图降维及恢复过程，以及如何通过Bottleneck模块提升分类性能。

本文主要针对ResNet-50对深度残差网络进行一个理解和分析
ResNet已经被广泛运用于各种特征提取应用中，当深度学习网络层数越深时，理论上表达能力会更强，但是CNN网络达到一定的深度后，再加深，分类性能不会提高，而是会导致网络收敛更缓慢，准确率也随着降低，即使把数据集增大，解决过拟合的问题，分类性能和准确度也不会提高。Kaiming大神等人发现残差网络能够解决这一问题。这里首先放上一张ResNet的各种网络结构图（图1）：
在这里插入图片描述
重点说明一下ResNet-50，可以看到图1中所示，ResNet-50经过了4个Block，每一个Block中分别有3，4，6，3个Bottleneck，这里zyyupup给出了一张自己制作的网络图，我觉得这张图足够解释清楚ResNet-50（图2）：

【评论中很多朋友说画错了，这张图确实是有问题哈，我当初写这个博是为了帮助自己理解ResNet-50和卷积操作的，俺就不在图片作者zyyupup的基础上再改了，大家懂这个过程就行~】

在这里插入图片描述
现在来看一下这个网络图，

  1. 首先输入的图片是3×224×224，也就是3个通道，图片尺寸为224×224；
  2. 进入第一个卷积层，卷积核大小为7*7，卷积核个数为64，步长为2，padding为3；所以输出应该是（224-7+2×3）/2+1=112.5，向下取整得到112，所以输出是 64 ×112 ×112；
  3. maxpool层会改变维度，但是不会影响个数

到此即将进入第一个实线方框中，图1中结构所示，第一个实线方框中本来应该有3个Bottleneck，图2作者只画出两个，其实每一个Bottleneck里面包含两种Block，第一种是Conv Block，一种是Identity Block。
首先说说Conv Block，也就是第一个实线方框中虚线连接的三层：
在这里插入图片描述
可以看到，总体的思路是先通过1×1的卷积对特征图像进行降维，做一次3×3的卷积操作，最后再通过1×1卷积恢复维度，后面跟着BN和ReLU层；虚线处用256个1×1的卷积网络，将maxpool的输出降维到255×56×56。
再说Identity Block，
在这里插入图片描述
也就是实线连接所示，不经过卷积网络降维，直接将输入加到最后的1×1卷积输出上。

经过后面的Block，经过平均池化和全连接，用softmax实现回归。

对卷积、特征图、通道等理解可以参考：
https://blog.youkuaiyun.com/weixin_43430243/article/details/89512069

神经网络—ResNet50网络（pytorch）
2403_86447519的博客
08-30 2万+
神经网络—ResNet50网络代码实现（pytorch）
ResNet50组网图
12-31
ResNet50网络的组网图分析，详细分析了各个模块的组成。主要针对Pytorch框架，其实各个框架的实现基本一致
深度学习经典网络解析：ResNet
最新发布
i宏的博客
10-15 1228
ResNet论文摘要 ResNet通过引入残差结构解决了深度网络中的梯度消失和退化问题。传统深度网络随着层数增加会出现训练困难、准确率下降等问题。ResNet的核心创新是使用跳跃连接（shortcut connection），构建残差块F(x)=H(x)-x，使梯度在反向传播时至少保持为1，确保网络可训练。实验表明，残差结构能有效提升深层网络性能，在ImageNet等数据集上取得突破性成果。ResNet包含两种残差模块（BasicBlock和Bottleneck），通过1x1卷积调整维度匹配，支持构建超过1
深度学习篇---ResNet-50网络结构
道阻且长，行则将至。
08-26 3791
本文介绍了PyTorch实现ResNet-50的关键要点。ResNet-50的核心是使用Bottleneck残差块替代BasicBlock，通过1×1降维、3×3特征提取和1×1升维的三层卷积结构，在保证深度（50层）的同时减少计算量。文章详细拆解了Bottleneck块的实现代码，并类比为"高效快递打包流水线"。随后展示了如何用该模块构建完整的ResNet-50网络，包含初始卷积层、4组残差块（3/4/6/3配置）和全连接层。最后通过随机输入验证模型运行正常，并解释了50层的组成来源。
4.ResNet50 网络结构
weixin_71719718的博客
08-28 9068
上图意思是在该模块传入x后，对x经过两种处理：一是分别经过卷积核是3X3和1X1的两次卷积处理，当然，两次卷积处理都有BN+relu，处理后得到输出f(x)；二是对x做shape改变，即做下采样变换，保证x与f(x)的shape相同，然后将这两种不同处理的输出相加。这样做的好处是模块的最终输出既保留上一层的详细信息，又增加了两次卷积的加强信息，主要防止深层网络的梯度消失。首先是起始阶段的输入层，即layer0层，由一个7x7，步距为2的卷积+BN+relu，加上3x3最大值池化，步长为2的池化层构成。
【深度学习】resnet-50网络结构
heguu的博客
04-13 4万+
最近许多目标检测网络的backbone都有用到resnet-50的部分结构，于是找到原论文，看了一下网络结构，在这里做一个备份，需要的时候再来看看。 整体结构 原论文中一共有5种网络模型，可以分为两类，18-layer，34-layer为一类，另外三种为一类。 layer0 首先是layer0，这部分在各个网络都一样，如图，由一个7x7，步距为2的卷积+BN+relu，加上3x3最大值池化，步长为2的池化层构成。 layer1 以18和50举例 18的basicblock如下,layer1共有2个下图的b
resnet网络结构
Habatua的博客
07-17 1042
转自 https://zhuanlan.zhihu.com/p/79378841 今天回顾了ResNet的论文Deep Residual Learning for Image Recognition，又结合PyTorch官方代码，整理一遍ResNet的结构，在这里写个总结。 首先，ResNet在PyTorch的官方代码中共有5种不同深度的结构，深度分别为18、34、50、101、152（各种网络的深度指的是“需要通过训练更新参数”的层数，如卷积层，全连接层等），和论文完全一致。图1是论文里给出每种ResNe
精选资源
huggingface.co/facebook/detr-resnet-50
10-24
ResNet-50是一种深度残差网络，具有50层卷积神经网络结构，通过引入残差连接解决了深度神经网络中的梯度消失问题，使得网络能够更深，同时保持训练过程的稳定和高效。ResNet-50在图像识别和分类任务中表现出色，是...
Faster RCNN ResNet-50
12-26
**Faster R-CNN ResNet-50：深度学习中的目标检测技术** Faster R-CNN（快速区域卷积神经网络）是由...通过理解和应用Faster R-CNN ResNet-50，开发者可以构建出高性能的目标检测系统，解决现实世界中的各种视觉挑战。
基于 PyTorch 实现 ResNet-50 在 MNIST 数据集上的训练与测试
08-20
本文档提供了一个完整的框架，帮助读者理解如何在 PyTorch 中实现一个强大的深度学习模型 ResNet-50，并将其应用于 MNIST 这一经典的图像识别任务。通过这个过程，读者不仅能够学习到如何使用 PyTorch 这一优秀的...
J1：ResNet-50算法实战与解析(鸟类识别）
zoey123456789的博客
10-21 1514
深度残差网络ResNet(deep residual network)在2015年由何恺明等人提出，因为它简单与实用并存，随后很多研究都是建立在ResNet-50或者ResNet-101基础上完成。ResNet主要解决卷积网络在深度加深时候出现的“退化”问题。在一般的卷积神经网络中，增大网络深度后带来的第一个问题就是梯度消失、爆炸；梯度消失：是指在反向传播过程中，随着网络层数的增加，前几层的梯度值变得非常小，接近于零。这会导致权重更新非常慢，从而无法有效训练深层网络；梯度爆炸。
resnet50 模型
09-20
resnet50 模型，很难训练，且训练一次需要很长时间，最好保存
小白入门深度学习 | 6-4：ResNet-50（2015年）详解
“365天深度学习训练营”报名进行中～
07-18 2292
残差网络ResNet在2015年由何恺明等提出，因为它简单与实用并存，随后很多研究都是建立在ResNet-50或者ResNet-101基础上完成。ResNet主要解决深度卷积网络在深度加深时候的“退化”问题。在一般的卷积神经网络中，增大网络深度后带来的第一个问题就是梯度消失、爆炸，这个问题Szegedy提出BN层后被顺利解决。BN层能对各层的输出做归一化，这样梯度在反向层层传递后仍能保持大小稳定，不会出现过小或过大的情况。
ResNet50 网络结构搭建(PyTorch)
热门推荐
New_WR的博客
12-07 4万+
ResNet50是一个经典的特征提取网络结构，虽然Pytorch已有官方实现，但为了加深对网络结构的理解，还是自己动手敲敲代码搭建一下。需要特别说明的是，笔者是以熟悉网络各层输出维度变化为目的的，只对建立后的网络赋予伪输入并测试各层输出，并没有用图像数据集训练过该网络（后续会用图像数据集测试并更新博客）。 1 预备理论 在动手搭建ResNet50以前，首先需要明确ResNet系列网络的基本结构，其次复习与卷积相关的几个知识点，以便更好地理解网络中间输出维度的
ResNet50网络
桜
10-26 1034
自从ResNet在2015年被提出，在ImageNet比赛classification任务上获得第一名，因为它“简单与实用”并存，之后很多方法都建立在ResNet50或者ResNet101的基础上完成的，检测，分割，识别等领域都纷纷使用ResNet，Alpha zero也使用了ResNet，所以可见ResNet确实很好用。 Resnets50 网络结构示意图 ResNet50和ResNet101对比 ...
resnet50网络搭建
weixin_48433993的博客
07-15 9326
它分成两个基本模块，一个是basic block，另一个是bottle neck模块，一般层数较低的用basicblock搭建，层数较深的用bottle neck模块，resnet50用的是bottleneck搭建的，两个模块的网络结构如图下。为什么有多余的一个边，通俗讲就是为了可以搭建更深的网络，采用F(X)+X求它的梯度比F(X)的梯度更不容易导致梯度下降。另一种说法是当这一层的卷积权重不那么重要的时候就可以直接连接下一部分，也就是那条多的线，而忽略掉卷积权重这一部分。结果与图2的网络结构是一致的。
Resnet50网络结构
Joker_xun的博客
11-12 1万+
resnet-50 有四组block，每组分别是 3 4 6 3个block，每个block里面有三个，另外这个网络的最开始有一个单独的卷积层，（3+4+6+3）*3+1=49。 取样层没有要学习的参数，平时我们所谓的层，指的是有参数要学习的层。 ...
ResNet-50算法
weixin_53657683的博客
06-27 9302
残差网络是为了解决深度神经网络（DNN）训练过程中梯度消失和梯度爆炸的问题而提出的。它通过引入残差连接，将输入直接加到输出上，从而允许网络学习更复杂的函数。ResNet-50有两个基本的块，分别名为Conv Block和。
Resnet-50网络结构详解
Taurus
08-25 3万+
解决的问题： 梯度消失，深层网络难训练。 因为梯度反向传播到前面的层，重复相乘可能使梯度无穷小。结果就是，随着网络的层数更深，其性能趋于饱和，甚至迅速下降。 核心思想： 引入一个恒等快捷键（也称之为跳跃连接线），直接跳过一个或者多个层。 当有这条跳跃连接线时，网络层次很深导致梯度消失时，F(x)=0，y=g(0+x)=relu(x)=xF(x)=0，y=g(0+x)=relu(x)=xF(x)=0，y=g(0+x)=relu(x)=x 在网络上堆叠这样的结构，就算梯度消失，我什么也学不到，我至少把
3d resnet-50网络结构
03-13
<think>好的，我现在需要详细解释3D ResNet-50的网络结构。首先，我需要回忆一下标准的ResNet-50的结构，然后考虑如何将其扩展到3D。ResNet-50的核心是残差块，每个块包含多个卷积层和跳跃连接。在2D情况下，卷积核是二维的，处理图像数据。而3D ResNet需要处理视频或体积数据，因此卷积核应该扩展为3D，比如3x3x3的核。 接下来，我需要确定3D ResNet-50的各个层是如何构建的。通常，ResNet-50包含初始的卷积层，然后是四个阶段（stage），每个阶段有不同数量的残差块。例如，第一个阶段可能有3个残差块，第二个阶段4个，第三个6个，第四个3个，总共有16个残差块，加上初始的卷积层和最后的全连接层，总层数大约是50层左右。但具体结构可能因实现而异，需要确认每个阶段的残差块数量。 然后，残差块的结构在3D情况下是否需要调整？标准的ResNet-50使用Bottleneck结构，即1x1卷积降维，接着3x3卷积，再1x1升维。在3D中，这个结构应该保持不变，只是卷积变为3D，例如第一个1x1x1卷积，然后是3x3x3，最后再1x1x1。跳跃连接如果维度不匹配的话，可能需要1x1x1的卷积来进行调整。 另外，输入数据的尺寸和处理也需要考虑。3D ResNet的输入可能是视频片段，比如形状为C×T×H×W，其中T是时间维度。初始卷积层可能使用较大的核，比如7x7x7，步长2x2x2，进行下采样。池化层同样需要3D的最大池化。 每个阶段之间的过渡部分可能会有步长为2的卷积来减少空间维度，同时增加通道数。例如，每个阶段的第一个残差块可能会在时间、高度和宽度维度上进行下采样。 还需要注意，3D卷积的计算量比2D大很多，所以在设计时可能会调整通道数或使用更小的核来平衡计算资源。此外，激活函数通常还是ReLU，批量归一化也应该是3D的版本。 最后，我需要验证这些信息是否正确。可能参考现有的论文或开源实现，比如在视频分类任务中使用的3D ResNet结构，确认各层的参数和配置是否符合。如果有不确定的地方，需要指出可能的变体或不同实现之间的差异。</think>### 3D ResNet-50 网络架构详解 3D ResNet-50 是基于经典 ResNet-50 的扩展版本，专为处理视频或三维医学影像等时空数据设计。其核心思想是将二维卷积扩展为三维卷积，并在残差块中引入时间维度的特征提取。 #### 1. 整体结构 网络包含 **输入层、4个阶段（Stage）和输出层**，总层数约50层： 1. **输入层**：处理三维输入（如 $C \times T \times H \times W$，其中 $T$ 为时间或深度维度） 2. **卷积层**：使用 $7 \times 7 \times 7$ 卷积核，步长 $2 \times 2 \times 2$，提取初级时空特征 3. **最大池化**：$3 \times 3 \times 3$ 核，步长 $2 \times 2 \times 2$，进行下采样 4. **残差阶段**：4个阶段分别包含 $3, 4, 6, 3$ 个残差块，逐步扩大通道数 5. **全局平均池化 + 全连接层**：输出分类结果 $$ \text{总参数量} \approx 23.5\text{百万} $$ #### 2. 3D残差块设计 每个残差块采用 **Bottleneck 结构**： 1. **降维层**：$1 \times 1 \times 1$ 卷积，减少通道数 2. **特征提取层**：$3 \times 3 \times 3$ 卷积，时空特征融合 3. **升维层**：$1 \times 1 \times 1$ 卷积，恢复通道数 4. **跳跃连接**：当输入输出维度不匹配时，使用 $1 \times 1 \times 1$ 卷积调整 ```python class Bottleneck3D(nn.Module): def __init__(self, in_channels, out_channels, stride=1): super().__init__() self.conv1 = nn.Conv3d(in_channels, out_channels//4, kernel_size=1) self.conv2 = nn.Conv3d(out_channels//4, out_channels//4, kernel_size=3, stride=stride, padding=1) self.conv3 = nn.Conv3d(out_channels//4, out_channels, kernel_size=1) self.shortcut = nn.Sequential() if stride != 1 or in_channels != out_channels: self.shortcut = nn.Sequential( nn.Conv3d(in_channels, out_channels, kernel_size=1, stride=stride) ) def forward(self, x): out = F.relu(self.conv1(x)) out = F.relu(self.conv2(out)) out = self.conv3(out) out += self.shortcut(x) return F.relu(out) ``` #### 3. 关键参数配置 | 阶段 | 残差块数量 | 输出通道 | 特征图尺寸 | |------|------------|---------|------------| | 输入 | - | 3 | 64×224×224 | | Conv1 | 1 | 64 | 32×112×112 | | Stage1 | 3 | 256 | 32×112×112 | | Stage2 | 4 | 512 | 16×56×56 | | Stage3 | 6 | 1024 | 8×28×28 | | Stage4 | 3 | 2048 | 4×14×14 | #### 4. 技术特点 1. **时空特征融合**：通过3D卷积同时捕捉空间和时间维度关联 2. **参数效率**：Bottleneck结构平衡计算量与特征表达能力 3. **梯度优化**：跳跃连接缓解梯度消失问题，支持训练超100层网络[^1] 4. **多尺度特征**：通过阶段式下采样获取不同粒度的时空特征 #### 5. 应用场景 - 视频动作识别（如Kinetics数据集） - 医学影像分析（CT/MRI三维重建） - 时空行为检测 - 视频内容理解
评论 21
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值