深度学习网络篇——ResNet

最新推荐文章于 2024-10-16 17:29:33 发布
原创 最新推荐文章于 2024-10-16 17:29:33 发布 · 置顶 · 9w 阅读 · 815 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#深度学习 #Deep Learning #网络 #ResNet

ResNet

作者：Kaiming He ，Xiangyu Zhang ，Shaoqing Ren ，Jian Sun

研究机构：Microsoft Research

About Kaiming He

2003年广东省理科高考状元，清华基础科学班，香港中文大学攻读研究生，微软亚研院实习，现在FAIR工作

主要文献:

  • ResNet，Faster-RCNN（Shaoqing Ren一作）, Single Image去雾，PReLU（自学习Relu，分类性能第一次超越人类level), SPP-Net(ECCV2014),
  • Identity Mappings in Deep Residual Networks（2016ECCV，ResNet的后续原理分析及改进）
  • Focal Loss（三作),R-FCN（三作）
  • Instance-Aware Semantic Segmentation via Multi-task Network Cascades（2016CVPR，2015MSCOCO语义分割冠军）,Mask-RCNN
  • Aggregated Residual Transformations for Deep Neural Networks（2017CVPR，ResNeXt）
  • 等等等等…还有很多的精彩成果这里不再提及。有兴趣可以参考何凯明主页：http://kaiminghe.com

下面我们正式开始聊论文，啊哈哈哈哈哈~

1. Background

  • Forward：from shallow to deep

    • Alexnet的出现带火了深度学习，其最重要的特点为通过数据驱动让模型自动学习特征，省去了人工寻找特征的步骤。但不同的模型也找出不同质量的特征，特征的质量直接影响到分类结果的准确度，表达能力更强的特征也给模型带来更强的分类能力。因此，深度网络通过数据学习到表达能力更强的特征。
    • 特征也可以根据复杂度和表示能力粗略的分为高中低三种种类，理论上讲越复杂的特征有越强的表征能力。在深度网络中，各个特征会不断的经过线性非线性的综合计算，越深的网络输出表示能力越强的特征。所以，网络的深度对于学习表达能力更强的特征至关重要，这一问题在VGGNet中得到很好体现。
    • 深度模型中，每层的输出特征图的尺寸大都随着网络深度而变化，主要是高和宽越来越小，输出特征图的深度随着网络层数的深度而增加，这一设计符合Inception v3 paper中的原则，从另一方面讲，高和宽的减小有助于减小计算量，而特征图深度的增加则使每层输出中可用特征数量的增多。

    以上所提论文皆在我们的博客中逐个分析过，没看过的朋友可以参考博客中过往文章PRIS-SCMonkey

  • Backward：the problem caused by increasing depth

    • 增加深度带来的首个问题就是梯度爆炸/消散的问题，这是由于随着层数的增多，在网络中反向传播的梯度会随着连乘变得不稳定，变得特别大或者特别小。这其中经常出现的是梯度消散的问题。

    • 为了克服梯度消散也想出了许多的解决办法，如使用BatchNorm，将激活函数换为ReLu，使用Xaiver初始化等，可以说梯度消散已经得到了很好的解决

    • 增加深度的另一个问题就是网络的degradation问题，即随着深度的增加，网络的性能会越来越差，直接体现为在训练集上的准确率会下降，残差网络文章解决的就是这个问题，而且在这个问题解决之后，网络的深度上升了好几个量级。

  • Degradation of deep network

    With network depth increasing, accuracy gets saturated (which might be unsurprising) and then degrades rapidly. Unexpectedly, such degradation is not caused by overfitting, and adding more layers to a suitably deep model leads to higher training error.

在这里插入图片描述

  • 上图是论文中随着网络深度的增加网络在CIFAR10-数据集上分类的训练集的错误率，可以看到如果我们直接堆叠卷积层，随着层数的增多，错误率有明显上升的趋势，其中最深的56层网络得到了最差的准确率，我们在VGG网络上验证了一下，对于CIFAR-10数据集在18层的VGG网络上耗费5分钟时间在网络训练充分的情况下得到了80%正确率，而34层的VGG模型花费8分钟得到了72%正确率，网络衰退问题确实存在。

  • 训练集错误率的下降说明degredation的问题并不是过拟合所造成，具体原因论文中也只是说留待继续研究，在作者的另一篇论文《Identity Mappings in Deep Residual Networks》中证明了degradation的产生是由于优化性能不好，这说明越深的网络反向梯度越难传导。

2.Deep Residual Networks

  • From 10 to 100 layers

    • 我们可以设想一下，当我们直接对网络进行简单的堆叠到特别长，网络内部的特征在其中某一层已经达到了最佳的情况，这时候剩下层应该不对改特征做任何改变，自动学成恒等映射(identity mapping) 的形式。也就是说，对一个特别深的深度网络而言，该网络的浅层形式的解空间应该是这个深度网络解空间的子集，换句话说，相对于浅层网络更深的网络至少不会有更差的效果，但是因为网络degradation的问题，这并不成立。

    • 那么，我们退而求其次，已知有网络degradation的情况下，不求加深度能提高准确性，能不能至少让深度网络实现和浅层网络一样的性能，即让深度网络后面的层至少实现恒等映射的作用，根据这个想法，作者提出了residual模块来帮助网络实现恒等映射。

      Let us consider a shallower architecture and its deeper counterpart that adds more layers onto it. There exists a solution to the deeper model by construction: the layers are copied from the learned shallower model, and the added layers are identity mapping. The existence of this constructed solution indicates that a deeper model should produce no higher training error than its shallower counterpart.

  • Residual Module

Instead of hoping each stack of layers directly fits a desired underlying mapping, we explicitly let these layers fit a residual mapping. The original mapping is recast into F(x)+x. We hypothesize that it is easier to optimize the residual mapping than to optimize the original, unreferenced mapping. To the extreme, if an identity mapping were optimal, it would be easier to push the residual to zero than to fit an identity mapping by a stack of nonlinear layers.

在这里插入图片描述

  • 根据上图，copy一个浅层网络的输出加给深层的输出，这样当网络特征达到optimal的时候更深层恒等映射的任务就从原来堆叠的层中释放到新建的这个恒等映射关系中，而原来层中的任务就从恒等映射转为全0。
  • F ( x ) = H ( x ) − x F(x)=H(x)-x F(x)=H(x)−x，x为浅层的输出， H ( x ) H(x) H(x)为深层的输出, F ( x ) F(x) F(x)为夹在二者中间的的两层代表的变换，当浅层的x代表的特征已经足够成熟，如果任何对于特征 x x x的改变都会让loss变大的话， F ( x ) F(x) F(x)会自动趋向于学习成为0， x x x则从恒等映射的路径继续传递。这样就在不增加计算成本的情况下实现了一开始的目的：在前向过程中，当浅层的输出已经足够成熟（optimal），让深层网络后面的层能够实现恒等映射的作用。

在这里插入图片描述
那么从另一个角度看，在反向传播中，residual模块会起到什么样的作用呢？

  • residual模块将输出分成 F ( x ) + x F (x) + x F(x)+x两部分，其中F依然是 x x x的函数，也就是说F实际上是对于 x x x的补充，是对于 x x x的fun-tuning，这样就把任务从根据 x x x映射成一个新的 y y y转为了根据 x x x求 x x x和 y y y之间的差距，这明显是一个相对更加简单的任务，论文是这么写的，到底怎么简单的，我们来分析一下。

  • 举个例子，假设不加residual模块的输出为 h ( x ) h(x) h(x)。 x = 10 , h ( x ) = 11 x=10,h(x)=11 x=10,h(x)=11, h h h简化为线性运算 W h W_h Wh​, W h W_h Wh​明显为1.1，加了redidual模块后， F ( x ) = 1 F(x) =1 F(x)=1, H ( x ) = F ( x ) + x = 11 H(x) = F(x)+x=11 H(x)=F(x)+x=11，F也简化为线性运算,对应的 W F W_F WF​为0.1。当标签中的真实值为12，反向传播的损失为1，而对于F中的参数和h中参数回传的损失实际上是一样大的而且梯度都是x的值，但是对于F的参数就从0.1到0.2，而h的参数是从1.1到1.2，因此redidual模块会明显减小模块中参数的值从而让网络中的参数对反向传导的损失值有更敏感的响应能力，虽然根本上没有解决回传的损失小得问题，但是却让参数减小，相对而言增加了回传损失的效果，也产生了一定的正则化作用。

  • 其次，因为前向过程中有恒等映射的支路存在，因此在反向传播过程中梯度的传导也多了更简便的路径，仅仅经过一个relu就可以把梯度传达给上一个模块。

  • 所谓反向传播就是网络输出一个值，然后与真实值做比较的到一个误差损失，同时将这个损失做差改变参数，返回的损失大小取决于原来的损失和梯度，既然目的是为了改变参数，而问题是改变参数的力度过小，则可以减小参数的值，使损失对参数改变的力度相对更大。

  • 因此残差模块最重要的作用就是改变了前向和后向信息传递的方式从而很大程度上促进了网络的优化。

在这里插入图片描述

  • 利用Inceptionv3提出的四个准则我们再用一下以改进residual模块，利用准则3，再空间聚合之前先进行降维不会发生信息丢失，所以这里也采用了同样的方法，加入1*1的卷积核用来增加非线性和减小输出的深度以减小计算成本。就得到了成为bottleneck的residual模块形式。上图左为basic形式，右为bottleneck的形式。

  • 综上所述，shortcut模块会在前向过程中帮助网络中的特征进行恒等映射，在反向过程中帮助传导梯度，让更深的模型能够成功训练。

最低0.47元/天 解锁文章

200万优质内容无限畅学
TensorFlow深度学习实战——情感分析模型
盼小辉丶的博客
01-20 4191
情感分析 (Sentiment Analysis) 是一种自然语言处理 (Natural Language Processing, NLP) 技术，旨在分析和识别文本中的情感倾向，情感分析模型能够根据情感倾向对文本进行分类。在本节中，我们将实现基于全连接神经网络的情感分析模型，以进一步熟悉神经网络构建流程。
TensorFlow深度学习实战——基于ResNet模型实现性别分类
盼小辉丶的博客
03-11 3119
本文通过实战案例演示了基于 ResNet50 模型的性别分类方法。针对深度神经网络中梯度消失问题，ResNet 创新性地引入残差连接机制。模型训练使用 CelebA 人脸数据集，包含 20 万张标注性别属性的图像，通过迁移学习加载预训练的 ResNet50 主干网络提取深度特征，并在顶部构建包含 2048 通道卷积层、最大池化层及全连接层的微调模型。
【深度学习】——深度学习中基本的网络结构（1）
「 虚幻私塾」
08-30 4060
机器学习中有一个通用的三步走的策略：1.function set 2. cost function 3. find the best model。而在深度学习中同样也是通用的：第一步：设计一个网络结构，网络结构的参数的不同，组成了一系列的function set，通常深度学习中需要我们自己去设计出网络的结构，然后让其自动学习其中的参数；设计损失函数，通常损失函数根据任务不同需要设计不同的损失函数；根据损失函数，让机器自己去学习得到所设计网络中的各个参数。...
深度学习网络
cainiao_7的博客
07-08 1581
0705深度学习笔记（待续……）
【深度学习】ResNet模型
shura的技术空间
08-07 3362
Deep Residual Learning for Image Recognition ResNet在2015年被提出，在ImageNet比赛classification任务上获得第一名（VGG是ImageNet2014年）在之前的VGG介绍中说过网络的深度对模型识别的准确度有很大的影响，但是在实际训练过程中，如果网络深度过深的话会引起在训练过程中发生退化的问题。为此我们的RestNe...
【深度学习】ResNet网络讲解
热门推荐
weixin_44001371的博客
11-03 6万+
ResNet网络是在2015年由微软实验室中的何凯明等几位大神提出，论文地址是；是在CVPR 2016发表的一种影响深远的网络模型，由何凯明大神团队提出来，在ImageNet的分类比赛上将网络深度直接提高到了152层，前一年夺冠的VGG只有19层。斩获当年ImageNet竞赛中分类任务第一名，目标检测第一名。获得COCO数据集中目标检测第一名，图像分割第一名，可以说ResNet的出现对深度神经网络来说具有重大的历史意义。Resnet在cnn图像方面有着非常突出的表现，它利用shortcut 短路连接。
《深度学习》—— ResNet 残差神经网络
weixin_73504499的博客
09-26 2081
ResNet 网络是在 2015年 由微软实验室中的何凯明等几位大神提出，斩获当年ImageNet竞赛中分类任务第一名，目标检测第一名。获得COCO数据集中目标检测第一名，图像分割第一名。
深度学习知识沉淀四——ResNet
AutumnorLiu的博客
10-16 1634
​ ResNet网络是在2015年由微软实验室何凯明等人提出的，斩获当年ImageNet竞赛中分类任务第一名，目标检测第一名。获得COCO数据集中目标检测第一名，图像分割第一名。各项名誉加身，引领了深度学习发展潮流。​ 在ResNet网络提出之前，传统的卷积神经网络都是通过将一系列卷积层与下采样层进行堆叠得到的。但是当堆叠到一定网络深度时，就会出现两个问题。1）梯度消失或梯度爆炸。2）退化问题(degradation problem)。
Keras深度学习实战——基于ResNet模型实现性别分类
走向CTO的路上...
06-12 632
Keras深度学习框架提供了简单易用的工具来构建 ResNet 模型进行性别分类，这使得该技术可以更加广泛地应用。
ResNet
七七的博客
04-18 404
《Deep Residual Learning for Image Recognition》本文主要是添加了shortcut映射来处理梯度消失的问题。这种解决深度网络的“随着层数的加深，精度下降”的方法是从优化算法的角度考虑问题的，不同于通过引入正则化来提升网络精度。心得：当一个网络效果不好的时候，有几种尝试解决方式：① 改变目标函数② 使用新的优化算法③ 引入正则项其实就是一个搭积木，然后最后看...
深度学习基础--深度学习网络
wang6562009的专栏
08-29 1442
本章首先探讨了组合两个浅层网络时所发生的情况。我们认为，第一个网络对输入空间进行了“折叠”，随后第二个网络应用了一个分段线性函数。在输入空间被折叠到其自身时，第二个网络的效果得到了复制。接着，我们证明了这种浅层网络组合实际上是具有两个隐藏层的深层网络的一种特例。我们解释了每一层中的 ReLU 函数如何在多个位置剪切输入函数，并在输出函数中创建更多的“关节”。我们引入了超参数的概念，对于我们目前讨论的网络而言，它包括了隐藏层的数量和每层中隐藏单元的数量。最后，我们对浅层和深层网络进行了比较。
Resnet18与FPN
最新发布
03-26
<think>好的，我现在需要帮助用户了解如何将ResNet18与FPN结合使用，并给出PyTorch的实现代码。首先，我得回顾一下ResNet和FPN的基本结构。ResNet有不同的层，比如C2到C5，而FPN通常利用这些层的输出构建特征金字塔。根据引用[3]，FPN通常使用C2到C5这四个stage的输出，不包含C1因为内存问题。 接下来，用户可能想知道具体的步骤，比如如何从ResNet18中提取中间层。ResNet18的结构是怎样的呢？ResNet18由四个主要的层（layer1到layer4），每个层对应不同的下采样率。例如，layer1的输出是输入尺寸的1/4，layer2是1/8，依此类推。这些层对应C2到C5，符合FPN的要求。 然后，我需要考虑如何将这些中间层的输出传递给FPN。PyTorch的torchvision.models中有ResNet的实现，可以自定义一个模型，修改forward方法以返回中间特征。同时，FPN在torchvision.ops中有一个FeaturePyramidNetwork类，需要指定输入通道数和输出通道数。ResNet18的每个layer的输出通道数分别是64、128、256、512，所以FPN的输入通道应该对应这些数值。可能需要调整FPN的输出通道，例如统一为256。 接下来是代码部分。需要加载ResNet18，并提取中间层的输出。可能需要使用register_forward_hook或者修改forward函数来获取这些中间特征。不过，为了简化，可以创建一个新的ResNet类，在forward时返回各个层的输出。 然后，将这些特征传递给FPN网络。FPN会生成P2到P5的特征图，这些特征图结合了不同层次的信息，用于目标检测等任务。用户可能需要知道如何将这些特征用于下游任务，比如RPN或者检测头。 另外，引用[4]提到FPN通过融合高低层特征来提升检测效果，特别是小物体。所以代码中应该体现这种特征融合的过程。在实现时，FPN内部会处理这些特征的上采样和合并，用户只需要正确传入中间层输出即可。 还需要注意输入尺寸的问题，确保各层特征图的尺寸正确，例如输入为224x224时，C2是56x56，C3是28x28等。FPN的输出特征图应该与输入层对应，可能需要进行上采样或调整通道数。 最后，检查PyTorch官方文档中的FPN实现是否正确使用，确保代码示例的准确性。可能需要参考引用[1]中的源码链接，确认ResNet和FPN的官方实现方式，避免错误。 总结步骤： 1. 加载ResNet18，提取中间层特征（C2-C5）。 2. 创建FPN网络，设置输入通道和输出通道。 3. 将中间特征输入FPN，得到融合后的特征金字塔。 4. 展示如何使用这些特征进行后续任务，如目标检测。 需要注意的细节包括：中间层的正确提取、通道数的匹配、FPN的配置参数等。确保代码示例能够运行，并且符合用户的需求。</think>以下是ResNet18与FPN结合使用的实现方法及PyTorch代码实现： --- ### 一、实现步骤 1. **提取ResNet18中间层特征** ResNet18的四个stage输出对应不同下采样倍数的特征图（C2:4x, C3:8x, C4:16x, C5:32x），需通过修改forward函数获取[^3] 2. **构建FPN网络结构** 使用`torchvision.ops.FeaturePyramidNetwork`实现特征融合，将高层语义特征与底层细节特征结合[^4] 3. **特征通道对齐** ResNet18各stage输出通道为[64, 128, 256, 512]，需通过1x1卷积统一为256通道以适应FPN[^1] --- ### 二、PyTorch实现代码 ```python import torch import torch.nn as nn from torchvision.models import resnet18 from torchvision.ops import FeaturePyramidNetwork class ResNet18_FPN(nn.Module): def __init__(self, out_channels=256): super().__init__() # 加载预训练ResNet18 self.resnet = resnet18(pretrained=True) # 特征通道调整模块 self.layer1_conv = nn.Conv2d(64, out_channels, 1) self.layer2_conv = nn.Conv2d(128, out_channels, 1) self.layer3_conv = nn.Conv2d(256, out_channels, 1) self.layer4_conv = nn.Conv2d(512, out_channels, 1) # 初始化FPN self.fpn = FeaturePyramidNetwork( in_channels_list=[out_channels]*4, # 统一通道数后的输入 out_channels=out_channels, extra_blocks=None ) def forward(self, x): # 原始ResNet前向传播 x = self.resnet.conv1(x) x = self.resnet.bn1(x) x = self.resnet.relu(x) x = self.resnet.maxpool(x) # 获取各stage输出 c2 = self.resnet.layer1(x) # [B,64,H/4,W/4] c3 = self.resnet.layer2(c2) # [B,128,H/8,W/8] c4 = self.resnet.layer3(c3) # [B,256,H/16,W/16] c5 = self.resnet.layer4(c4) # [B,512,H/32,W/32] # 通道数调整 c2 = self.layer1_conv(c2) c3 = self.layer2_conv(c3) c4 = self.layer3_conv(c4) c5 = self.layer4_conv(c5) # FPN特征融合 features = {'c2': c2, 'c3': c3, 'c4': c4, 'c5': c5} pyramid = self.fpn(features) # 输出P2-P5 return pyramid ``` --- ### 三、关键实现细节 1. **特征图尺寸对应** - 输入224x224时各层输出尺寸： $$P2:56\times56,\ P3:28\times28,\ P4:14\times14,\ P5:7\times7$$ 2. **通道对齐原理** 使用1x1卷积将各stage输出统一为256通道，计算式为： $$P_i = \text{Conv}_{1\times1}(C_i),\ i\in\{2,3,4,5\}$$ 3. **特征融合方式** FPN通过自上而下的路径和横向连接实现特征融合： $$P_5 = C_5$$ $$P_4 = \text{UpSample}(P_5) + C_4$$ $$P_3 = \text{UpSample}(P_4) + C_3$$ $$P_2 = \text{UpSample}(P_3) + C_2$$ 最终每个$P_i$经过3x3卷积消除上采样混叠效应 --- ### 四、应用示例（目标检测） ```python # 初始化模型 model = ResNet18_FPN(out_channels=256) # 前向传播示例 inputs = torch.randn(2, 3, 224, 224) outputs = model(inputs) # 输出特征图尺寸验证 for name, feat in outputs.items(): print(f"{name}: {feat.shape}") # 输出结果： # p2: torch.Size([2, 256, 56, 56]) # p3: torch.Size([2, 256, 28, 28]) # p4: torch.Size([2, 256, 14, 14]) # p5: torch.Size([2, 256, 7, 7]) ``` ---
评论 34
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值