Pytorch：卷积神经网络-ResNet

原创 已于 2022-02-13 17:22:58 修改
· 1.1k 阅读 · 2 ·
版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#pytorch #cnn #深度学习 #计算机视觉 #神经网络

于 2022-02-04 00:28:49 首次发布
本文详细介绍了ResNet残差网络的工作原理、动机、网络结构，包括Bottleneck模块的实现和整个网络的搭建过程。通过实例演示，展示了如何在PyTorch中构建和应用ResNet，以解决深度网络训练中的梯度消失问题。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

Pytorch: 残差网络-ResNet

Copyright: Jingmin Wei, Pattern Recognition and Intelligent System, School of Artificial and Intelligence, Huazhong University of Science and Technology

Pytorch教程专栏链接

文章目录

本教程不商用，仅供学习和参考交流使用，如需转载，请联系本人。

Reference

ResNet 论文链接

import torch
import torch.nn as nn
残差网络(ResNet)

VGGNet 与 Inception 出现后，学者们将卷积网络不断加深以寻求更优越的性能，然而所着网络的加深，网络却越发难以训练，方而会产生梯度消失现象: 另一方面越深的网络返回的梯度相关性会越来越差，接近于白噪声，导致梯度更新也接近于随机扰动。

更详细的说，对神经网络模型添加新的层，充分训练后的模型是否只可能更有效地降低训练误差？理论上，原模型解的空间只是新模型解的空间的子空间。也就是说，如果我们能将新添加的层训练成恒等映射 f ( x ) = x f(x)=x f(x)=x ，新模型和原模型将同样有效。由于新模型可能得出更优的解来拟合训练数据集，因此添加层似乎更容易降低训练误差。然而在实践中，添加过多的层后训练误差往往不降反升。即使利用批量归一化带来的数值稳定性使训练深层模型更加容易，该问题仍然存在。

何恺明等人提出的ResNet(Residual Network，残差网络) 较好地解决了这个问题，并获得了 2015 年 ImageNet 分类任务的第一名。 此后的分类、检测、分割等任务也大规模使用 ResNet 作为网络骨架。

主要贡献

提出了一种残差学习框架来减轻网络训练，这些网络比以前使用的网络更深。

显式地将层重构为学习关于层输入的残差函数，而不是学习未参考的函数。

提供了全面的经验证据说明这些残差网络很容易优化，并可以显著增加深度来提高准确性。

动机

最根本的动机就是所谓的“退化”问题，即当模型的层次加深时，错误率却提高了。

但是模型的深度加深，学习能力增强，因此更深的模型不应当产生比它更浅的模型更高的错误率。而这个“退化”问题产生的原因归结于优化难题，当模型变复杂时，SGD 的优化变得更加困难，导致了模型达不到好的学习效果。

Residual​ 块

通过 shortcut 连接， identity mapping​ 来加深网络。

ResNet 的思想在于引入了一个深度残差框架来解决梯度消失问题，即让卷积网络去学习残差映射，而不是期望每一个堆叠层的网络都完整地拟合潜在的映射(拟合函数)。如图所示，对于神经网络，如果我们期望的网络最终映射为 H ( x ) H(x) H(x) , 左侧的网络需要直接拟合输出 H ( x ) H(x) H(x) ，而右侧由 ResNet 提出的子模块，通过引入一个 shortcut (捷径)分支，将需要拟合的映射变为残差 F ( x ) : H ( x ) − x F(x): H(x)-x F(x):H(x)−x 。 ResNet 给出的假设是:相较于直接优化潜在映射 H ( x ) H(x) H(x) ，优化残差映射 F ( x ) F(x) F(x) 是更为容易的。

在这里插入图片描述

在形式上，将期望的底层映射表示为 H ( x ) H(x) H(x) ，我们让堆叠的非线性层适合 F ( x ) F(x) F(x) 的另一个映射: F ( x ) = H ( x ) − x F(x)= H(x)-x F(x)=H(x)−x 。原始映射被重铸为 F ( x ) + x F(x)+x F(x)+x 。

在这里插入图片描述

我们用更详细的图来说明二者的区别。设输入为 x x x​​。假设我们希望学出的理想映射为 f ( x ) f(x) f(x)​​ ，从而作为激活函数的输入。

左图虚线框中的部分需要直接拟合出该映射 f ( x ) f(x) f(x)​​ ，而右图虚线框中的部分则需要拟合出有关恒等映射的残差映射 f ( x ) − x f(x)−x f(x)−x​ 。残差映射在实际中往往更容易优化。

以恒等映射作为我们希望学出的理想映射 f ( x ) f(x) f(x)​ 。我们只需将图中右图虚线框内上方的加权运算（如仿射）的权重和偏差参数学成 0 0 0 ，那么 f ( x ) f(x) f(x) 即为恒等映射。

实际中，当理想映射 f

最低0.47元/天 解锁文章
ResNet卷积神经网络
慕云
10-26 250
ResNet卷积神经网络 1、残差块的实现 import d2lzh.d2lzh as d2l from mxnet import gluon,init,nd from mxnet.gluon import nn class Residual(nn.Block): def __init__(self,num_channels,use_1x1Conv=False,strides=1,**kwargs): super(Residual,self).__init__(**kwargs)
经典卷积神经网络-ResNet
houjingchuan的博客
01-01 1960
残差神经网络(ResNet)是由微软研究院的何恺明、张祥雨、任少卿、孙剑等人提出的。ResNet 在2015 年的ILSVRC（ImageNet Large Scale Visual Recognition Challenge）中取得了冠军。残差神经网络的主要贡献是发现了“退化现象（Degradation）”，并针对退化现象发明了 “快捷连接（Shortcut connection）”，极大的消除了深度过大的神经网络训练困难问题。本文使用Pytorch复现了ResNet-18和ResNet-50。
ResNet卷积神经网络--TensorFlow2
一只AI小白
04-14 530
ResNet卷积神经网络--TensorFlow2结果展示loss和acc曲线计算参数程序 结果展示 acc = 91.96% loss和acc曲线 计算参数 程序 # -*- coding: utf-8 -*- """ Created on Tue Apr 14 2020 @author: jeo13 """ # 导入包 import tensorflow as tf import os ...
卷积神经网络 - ResNet（残差网络）
最新发布
分享技术人生的学习笔记和过往心得，与志同道合者共同进步
03-26 1742
残差网络（Residual Network，简称 ResNet）是一种特殊的深度神经网络结构，由 Kaiming He 等人在 2015 年提出，目的是解决深层网络训练中出现的退化问题和梯度消失问题，本文我们来学习残差网络。
TensorFlow实战：Chapter-6（CNN-4-经典卷积神经网络（ResNet）)
热门推荐
DFan的NoteBook
08-06 1万+
ResNetResNet简介ResNet(Residual Neural Network)由微软研究院的何凯明大神等4人提出，ResNet通过使用Residual Unit成功训练152层神经网络，在ILSCRC2015年比赛中获得3.75%的top-5错误率，获得冠军。ResNet的参数量少，且新增的Residual Unit单元可以极快地加速神经网络的训练，同时模型的准备率也有非常大的提升。本节
卷积神经网络——ResNet
zhzhx0318的专栏
09-14 4460
残差网络结构及理解输入为 x ，需要拟合的结果(输出)为 H(x) 。 那么我们把输出差分为 x+y ，也就是 H(x)=x+y，再令 y=F(x) ,意思是 y 也是由 x 拟合而来，那么最后的输出就变为 H(x)=x+F(x)，x 本来就是输入，所以我们就只需要拟合 F(x) 就好了。其实也很明显，通过求偏导我们就能看到： ∂XL∂Xl=∂Xl+F(Xl,Wl,bl)∂Xl=1+∂F(XL,
卷积神经网络：ResNet
Wei_sx的博客
01-11 2394
ResNet 是一种高效且强大的深度学习模型，通过创新的残差学习机制，成功地训练了极深的神经网络并在多个标准数据集上取得了突破性的成绩。这种架构的成功为以后的卷积神经网络（CNN）设计开辟了新的方向。
PyTorch搭建卷积神经网络（ResNet-50网络）进行图像分类实战（附源码和数据集）
showswoller的博客
11-10 9936
PyTorch搭建卷积神经网络（ResNet-50网络）进行图像分类实战（附源码和数据集）
卷积神经网络ResNet50训练CIFAR-100图像分类Pytorch实现
07-03
# 卷积神经网络ResNet50训练CIFAR-100图像分类Pytorch实现 1. 使用pytorch调用CIFAR-100数据集，首次训练自动下载； 2. 包含训练代码，调用resnet50模型进行训练，使用交叉熵损失和SGD优化器； 3. 包含训练了50 ...
faster-rcnn-pytorch:python pytorch faster-rcnn 目标检测 简单 零基础
05-23
在PyTorch中实现Faster R-CNN，首先需要理解PyTorch的模块化设计，包括构建卷积神经网络（CNNs）、损失函数、优化器等基本组件。项目中的代码结构清晰，易于理解，便于新手逐步学习。关键部分包括数据预处理、模型...
卷积神经网络-ResNet
weixin_42192254的博客
03-07 389
第一次写博客，算作一份笔记吧，如有不足请指正。 更深层的网络训练不易，ResNet的提出降低了这种压力。ResNet在ImageNet 测试集上达到了3.57%的错误率，并获得了2ISVRC 2015的第一名。 背景知识 研究表明，特征的层次随着堆叠的层数（层深度）增加变得丰富。许多研究开始致力于加深层深度。 随着层深度的重要性的突显，一个问题也被提出：Is learning better net...
深度学习之卷积神经网络 ResNet
fenglepeng的博客
06-08 2844
Resnet差不多是当前应用最为广泛的CNN特征提取网络。它的提出始于2015年，作者中间有大名鼎鼎的三位人物He-Kaiming, Ren-Shaoqing, Sun-Jian。绝对是华人学者的骄傲啊。 VGG网络试着探寻了一下深度学习网络的深度究竟可以深几许以能持续地提高分类准确率。我们的一般印象当中，深度学习愈是深（复杂，参数多）愈是有着更强的表达能力。凭着这一基本准则CNN分类网络自Alexnet的7层发展到了VGG的16乃至19层，后来更有了Googlenet的22层。可后来我们发现深度CNN网络
经典卷积神经网络——resnet
Lightismore的博客
05-06 1万+
resnet前言一、resnet二、resnet网络结构三、resnet181.导包2.残差模块2.通道数翻倍残差模块3.rensnet18模块4.数据测试5.损失函数，优化器6.加载数据集，数据增强7.训练数据8.保存模型9.加载测试集数据，进行模型测试四、resnet深层对比 前言 随着深度学习的不断发展，从开山之作Alexnet到VGG，网络结构不断优化，但是在VGG网络研究过程中，人们发现随着网络深度的不断提高，准确率却没有得到提高，如图所示： 人们觉得深度学习到此就停止了，不能继续研究了，但是
经典卷积神经网络模型 - ResNet
weixin_44944722的博客
09-06 1780
本篇博客归纳总结残差深度神经网络的基本工作原理以及设计思想，同时基于Tensorflow2.0框架复现简单的ResNet模型，以便加深理解该模型工作细节
经典卷积神经网络 之 ResNet
把岁月化成歌 留在博客
03-19 612
ResNet 时间： 2015年 出处： 目的： 做法： 成就： 贡献： 结构
卷积神经网络的网络结构——ResNet V2
小花生的博客
06-16 4176
《Identity Mappings in Deep Residual Networks》 2016，kaiming He et al，ResNet V2。 深度残差网络作为一种极深的网络框架，在精度和收敛等方面都展现出了很好的特性。作者通过对残差块(residual building blocks)背后的计算传播方式进行分析，表明了当跳跃连接(skip connections)以及附加激...
用pytorch实现卷积神经网络RESNET的CIFAR10分类问题
03-08
### 实现ResNet网络解决CIFAR-10分类问题 为了使用 PyTorch 实现 ResNet 网络来处理 CIFAR-10 数据集上的图像分类任务，下面提供了完整的 Python 代码示例。此实现基于官方的 PyTorch 库以及 torchvision 提供的支持工具。 #### 加载所需库并定义转换操作 首先导入必要的包，并设定数据预处理的方式： ```python import torch import torch.nn as nn import torch.optim as optim import torchvision import torchvision.transforms as transforms transform = transforms.Compose( [transforms.RandomCrop(32, padding=4), transforms.RandomHorizontalFlip(), transforms.ToTensor(), transforms.Normalize((0.5, 0.5, 0.5), (0.5, 0.5, 0.5))]) ``` 上述代码设置了随机裁剪、水平翻转等增强手段以提高泛化能力[^2]。 #### 准备训练和测试数据集 接着创建 `DataLoader` 对象以便于后续迭代获取批次样本： ```python trainset = torchvision.datasets.CIFAR10(root='./data', train=True, download=True, transform=transform) trainloader = torch.utils.data.DataLoader(trainset, batch_size=128, shuffle=True, num_workers=2) testset = torchvision.datasets.CIFAR10(root='./data', train=False, download=True, transform=transform) testloader = torch.utils.data.DataLoader(testset, batch_size=100, shuffle=False, num_workers=2) ``` 这里指定了批量大小为 128 和 100 分别用于训练集和验证集的数据加载器配置。 #### 定义ResNet模型架构 利用 TorchVision 中已有的 ResNet 结构作为基础框架，调整最后一层以匹配 CIFAR-10 类别的数量： ```python class BasicBlock(nn.Module): expansion = 1 def __init__(self, in_planes, planes, stride=1): super(BasicBlock, self).__init__() # ...省略部分初始化代码... def make_layer(block, planes, blocks, stride=1): downsample = None if stride != 1 or inplanes != block.expansion * planes: downsample = nn.Sequential( conv1x1(inplanes, block.expansion*planes, stride), norm_layer(block.expansion*planes), ) layers = [] layers.append(block(inplanes, planes, stride, downsample)) inplanes = planes * block.expansion for _ in range(1, blocks): layers.append(block(inplanes, planes)) return nn.Sequential(*layers) class ResNet(nn.Module): def __init__(self, block, layers, num_classes=10): super(ResNet, self).__init__() self.inplanes = 64 self.conv1 = nn.Conv2d(3, 64, kernel_size=7, stride=2, padding=3, bias=False) self.bn1 = nn.BatchNorm2d(64) self.relu = nn.ReLU(inplace=True) self.maxpool = nn.MaxPool2d(kernel_size=3, stride=2, padding=1) self.layer1 = self._make_layer(block, 64, layers[0]) self.layer2 = self._make_layer(block, 128, layers[1], stride=2) self.layer3 = self._make_layer(block, 256, layers[2], stride=2) self.layer4 = self._make_layer(block, 512, layers[3], stride=2) self.avgpool = nn.AdaptiveAvgPool2d((1, 1)) self.fc = nn.Linear(512 * block.expansion, num_classes) for m in self.modules(): if isinstance(m, nn.Conv2d): nn.init.kaiming_normal_(m.weight, mode='fan_out', nonlinearity='relu') elif isinstance(m, (nn.BatchNorm2d, nn.GroupNorm)): nn.init.constant_(m.weight, 1) nn.init.constant_(m.bias, 0) def forward(self, x): x = self.conv1(x) x = self.bn1(x) x = self.relu(x) x = self.maxpool(x) x = self.layer1(x) x = self.layer2(x) x = self.layer3(x) x = self.layer4(x) x = self.avgpool(x) x = torch.flatten(x, 1) x = self.fc(x) return x model = ResNet(BasicBlock, [2, 2, 2, 2]) # 这里选择了ResNet18结构 device = 'cuda' if torch.cuda.is_available() else 'cpu' model.to(device); ``` 该段代码展示了自定义 ResNet 模型的设计思路及其具体构造方法[^1]。 #### 设置优化算法与损失函数 指定 Adam 优化器及交叉熵损失计算方式： ```python criterion = nn.CrossEntropyLoss() optimizer = optim.Adam(model.parameters(), lr=0.001) scheduler = optim.lr_scheduler.StepLR(optimizer, step_size=7, gamma=0.1) ``` 这部分实现了常用的梯度下降策略来最小化预测误差。 #### 训练过程 编写循环逻辑完成多次前向传播、反向传播更新权重的过程： ```python for epoch in range(epochs): running_loss = 0.0 model.train() for i, data in enumerate(trainloader, 0): inputs, labels = data[0].to(device), data[1].to(device) optimizer.zero_grad() outputs = model(inputs) loss = criterion(outputs, labels) loss.backward() optimizer.step() running_loss += loss.item() if i % 200 == 199: print(f'[Epoch {epoch + 1}, Batch {i + 1}] Loss: %.3f' % (running_loss / 200)) running_loss = 0.0 scheduler.step() ``` 通过以上步骤完成了整个训练流程中的核心环节——参数学习。 #### 测试评估性能 最后，在独立的测试集合上检验最终模型的效果： ```python correct = 0 total = 0 with torch.no_grad(): model.eval() for data in testloader: images, labels = data[0].to(device), data[1].to(device) outputs = model(images) _, predicted = torch.max(outputs.data, 1) total += labels.size(0) correct += (predicted == labels).sum().item() print('Accuracy on the 10000 test images: %d %%' % ( 100 * correct / total)) ``` 这一步骤能够直观反映所建立模型的实际识别精度。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值