【适合初学者】玩转CIFAR10—Pytorch复现LeNet,AlexNet,VGG,GoogLeNet,MobileNet,ResNet,DenseNet,Vision Transformer模型

玩转CIFAR10

---

2021.12.30 更新：DPN

---

Introduction

本文使用pytorch框架，复现了LeNet, AlexNet, VGG, GoogLeNet, ResNet, ResNeXt, RegNet, DenseNet, EfficientNet, MobileNet(v1,v2,v3), ShuffleNet, SENet, PANSNet, RegNet, DLA等主流的卷积神经网络模型，以及Vision Transformer等基于Transformer的模型。同时在使用相同的训练设置的情况下，对以上模型在CIFAR10数据集上进行了详细的测试，测试内容包括测试集准确率、模型训练时间、模型参数量等。

所有模型代码风格统一、结构清晰、复现简单，训练模型只需打开ipynb文件运行即可，无需其他操作，对刚刚入门深度学习的新手非常友好。

Experiments

所有模型均使用Pytorch实现，运行环境为Python3.7+Pytorch1.9.1+CUDA11.1。

所有的模型均使用相同的训练超参数设置（learning_rate,batch_size,epoch等）。

持续更新中。

General settings
Data augmentation(RandomCrop+RandomHorizontalFlip+Normalize)
Epoch=200, Batch_size=128
Learning_rate=0.01,Lr_scheduler(CosineAnnealingLR,T_max=200)
Optimizer(SGD,momentum=0.9,weight_decay=5e-4)

以下表格，Test Accuracy表示在所有epoch中最优的测试准确率；
Other Config表示模型中的其他设置（如vision transformer中multi-head数量、transformer层数等）；
GPU表示使用了什么GPU进行训练；
Time Expended表示训练时间；
Parameter表示模型的参数量，一般可认为都是32位浮点数，因此（参数量/4/1024/1024=?MB）即可大约估算出模型所占空间，从MobileNet开始进行统计，因此表格部分内容为NaN，后期逐渐补上吧…

Model	Test Accuracy	Other Config	GPU	Time Expended	Parameter