Linux Pytorch ResNet-18 cifar10 实践报告

最新推荐文章于 2023-12-05 23:42:37 发布

原创最新推荐文章于 2023-12-05 23:42:37 发布 · 2.6k 阅读

2 ·

CC 4.0 BY-SA版权

文章标签：

#pytorch #linux #cifar10 #图像分类 #数据增强

本文对比了ResNet-v1和ResNet-v2在CIFAR-10数据集上的表现，发现ResNet-v2有略微优势。同时，通过应用MixUp、CutMix和TrivialAugment三种数据增强技术，测试准确率显著提升，其中CutMix表现最佳。实验表明数据增强能有效防止过拟合，增强模型泛化能力。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

硬件资源

cpu： Intel(R) Core(TM) i5-7500 CPU @ 3.40GHz
显卡： 1080Ti
内存： 16G

环境版本

#系统信息
Distributor ID:	Ubuntu
Description:	Ubuntu 16.04.5 LTS
Release:	16.04
Codename:	xenial
#主要依赖		
torch              1.10.0
torchvision        0.11.1
#CUDA信息
~$ nvcc -V
nvcc: NVIDIA (R) Cuda compiler driver
Copyright (c) 2005-2019 NVIDIA Corporation
Built on Wed_Oct_23_19:24:38_PDT_2019
Cuda compilation tools, release 10.2, V10.2.89
~$ cat /usr/local/cuda/version.txt
CUDA Version 10.2.89

实验方法

基于PyTorch使用ResNet-18模型训练cifar10数据集

对比 ResNet-v1 和 ResNet-v2 的测试集准确率
对比三种当前比较先进的数据增强方法（MixUp、CutMix、TrivialAugment）的测试集准确率

基本参数设置

#训练集 测试集比例
5:1 即训练集50000张，测试集10000张
# 超参数设置
EPOCH = 100  # 遍历数据集次数
BATCH_SIZE = 512  # 批处理尺寸(batch_size)
LR = 0.1  # 学习率

# 基本的随机增强
RandomCrop
RandomHorizontalFlip

# 损失函数
CrossEntropyLoss #交叉熵
# 优化方式
optim.SGD(net.parameters(), lr=LR, momentum=0.9, weight_decay=5e-4)
# 学习率迭代策略
#在指定的epoch值，[60, 90]处对学习率进行衰减，lr = lr * gamma
scheduler = lr_scheduler.MultiStepLR(optimizer, milestones=[60,90], gamma=0.1)

实验结果

实验	测试集准确率
ResNet-v1	94.13%
ResNet-v2	94.23%
ResNet-v2 + RandomMixup	95.10%
ResNet-v2 + RandomCutmix	95.46%
ResNet-v2 + TrivialAugment	95.27%

实验结果对比

最终实验结果表明：

ResNet-v2的网络模型优于ResNet-v1。
三种当前比较先进的数据增强方法（MixUp、CutMix、TrivialAugment）都有不俗的作用，一定程度上提升了准确率。
针对cifar10数据集，用ResNet-v2的ResNet-18训练时，CutMix的数据增强手段最优。

结果分析

1. ResNet-v1 VS ResNet-v2

ResNet-v1 VS ResNet-v2
由上图可以看出，ResNet-v2相比于ResNet-v1，训练集（蓝线）和测试集准确率（粉红线）都更早更快得达到一个比较好的效果，也就是训练更容易，最终的测试集准确率也超出一点点（94.23% vs 94.13%）。
在这里插入图片描述

ResNet-v2重新设计了一种残差网络基本单元（unit）就是将激活函数（先BN再ReLU）移到权值层之前，形成一种“预激活（pre-activation）”的方式，如上图(b)，而不是ResNet-v1中常规的“后激活（post-activation）”方式，如上图(a)，并且预激活的单元中的所有权值层的输入都是归一化的信号。这使得网络更易于训练并且泛化性能也得到提升。

2. ResNet-v2 VS ResNet-v2+TrivialAugment

请添加图片描述
从上图可以看到，

ResNet-v2训练过程中，训练集准确率（绿线）一直高于测试集准确率（红线），并且最后训练集准确率接近100%，而测试集准确率仅有94.23%。
加上TrivialAugment的数据增强方法后，训练全程测试集准确率（粉红线）一直高于训练集准确率（蓝线），最后训练集准确率达到92%左右，而测试集准确率达到95.27%。
以上结果说明加上TrivialAugment的数据增强方法后，网络过拟合程度大大减小。其原因不难看出是因为强大的数据增强扩充了数据集，增强了网络的泛化能力。