pytorch Resnet 网络结构

最新推荐文章于 2025-06-30 16:11:15 发布

枫溪迪

最新推荐文章于 2025-06-30 16:11:15 发布

阅读量4.2k

点赞数 4

CC 4.0 BY-SA版权

分类专栏： pytorch 文章标签： pytorch cifar10 Resnet

本文链接：https://blog.youkuaiyun.com/weixin_42236288/article/details/82143316

本文介绍了ResNet在网络结构上的创新，针对深度学习中训练集准确率下降的问题提出深度残差网络。解释了ResNet中的identity mapping和residual mapping，并分享了在CIFAR10数据集上训练ResNet的代码和网络结构图。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

最近在学习廖老师的pytorch教程，学到Resnet 这部分着实的烧脑，这个模型都捣鼓了好长时间才弄懂，附上我学习过程中最为不解的网络的具体结构连接（网上一直没有找到对应网络结构，对与一个自学的学渣般的我，很是无奈，所以搞懂后我就...分享给有需要的的你了）

我们先大致了解一下残差模型

ResNet在2015年被提出，在ImageNet比赛classification任务上获得第一名，因为它“简单与实用”并存，之后很多方法都建立在ResNet50或者ResNet101的基础上完成的，检测，分割，识别等领域都纷纷使用ResNet，Alpha zero也使用了ResNet，所以可见ResNet确实很好用。
下面我们从实用的角度去看看ResNet。

1.ResNet意义

随着网络的加深，出现了训练集准确率下降的现象，我们可以确定这不是由于Overfit过拟合造成的(过拟合的情况训练集应该准确率很高)；所以作者针对这个问题提出了一种全新的网络，叫深度残差网络，它允许网络尽可能的加深，其中引入了全新的结构如图1；
这里问大家一个问题
残差指的是什么？
其中ResNet提出了两种mapping：一种是identity mapping，指的就是图1中”弯弯的曲线”，另一种residual mapping，指的就是除了”弯弯的曲线“那部分，所以最后的输出是 y=F(x)+x

identity mapping顾名思义，就是指本身，也就是公式中的x，而residual mapping指的是“差”，也就是y−x，所以残差指的就是F(x)部分。

我们可以看到一个“弯弯的弧线“这个就是所谓的”shortcut connection“，也是文中提到identity mapping，这张图也诠释了ResNet的真谛,当然残差的结构可不会像图中这样单一，

下面是对通过Resnet 对cafir10数据的训练代码以及网络结构图

import torch
import torch.nn as nn
import torchvision.datasets as normal_datasets
import torchvision.transforms as transforms
from torch.autograd import Variable

num_epochs = 2
lr = 0.001


def get_variable(x):
    x = Variable(x)
    return x.cuda() if torch.cuda.is_available() else x


# 图像预处理
transform = transforms.Compose([
    transforms.Scale(40),
    transforms.RandomHorizontalFlip(),
    transforms.RandomCrop(32),
    transforms.ToTensor()])

# 加载CIFAR-10
train_dataset = normal_datasets.CIFAR10(root='./data/',
                                        train=True,
                                        transform=transform,
                                        download=False)

test_dataset = normal_datasets.CIFAR10(root='./data/',
                                       train=False,