【适合初学者】玩转CIFAR10—Pytorch复现LeNet,AlexNet,VGG,GoogLeNet,MobileNet,ResNet,DenseNet,Vision Transformer模型

原创

已于 2024-07-21 12:08:15 修改 · 3.7k 阅读

40 ·

CC 4.0 BY-SA版权

文章标签：

#pytorch #cifar10 #卷积神经网络 #transformer #深度学习

于 2021-12-13 12:09:03 首次发布

该博客详细介绍了在CIFAR10数据集上，包括LeNet、AlexNet、VGG、GoogLeNet、ResNet、ResNeXt、RegNet、DenseNet、EfficientNet、MobileNet等多个经典及现代卷积神经网络模型的性能测试。使用Pytorch框架，统一训练设置，对比了模型的测试准确率、训练时间、参数量等关键指标。此外，还涉及VisionTransformer等基于Transformer的模型，尽管在CIFAR10上表现不理想，但提供了宝贵的实验数据。所有代码开源，方便新手直接运行体验。

玩转CIFAR10

2021.12.30 更新：DPN

Introduction

本文使用pytorch框架，复现了LeNet, AlexNet, VGG, GoogLeNet, ResNet, ResNeXt, RegNet, DenseNet, EfficientNet, MobileNet(v1,v2,v3), ShuffleNet, SENet, PANSNet, RegNet, DLA等主流的卷积神经网络模型，以及Vision Transformer等基于Transformer的模型。同时在使用相同的训练设置的情况下，对以上模型在CIFAR10数据集上进行了详细的测试，测试内容包括测试集准确率、模型训练时间、模型参数量等。

所有模型代码风格统一、结构清晰、复现简单，训练模型只需打开ipynb文件运行即可，无需其他操作，对刚刚入门深度学习的新手非常友好。

Experiments

所有模型均使用Pytorch实现，运行环境为Python3.7+Pytorch1.9.1+CUDA11.1。

所有的模型均使用相同的训练超参数设置（learning_rate,batch_size,epoch等）。

持续更新中。

General settings
Data augmentation(RandomCrop+RandomHorizontalFlip+Normalize)
Epoch=200, Batch_size=128
Learning_rate=0.01,Lr_scheduler(CosineAnnealingLR,T_max=200)
Optimizer(SGD,momentum=0.9,weight_decay=5e-4)

以下表格，Test Accuracy表示在所有epoch中最优的测试准确率；
Other Config表示模型中的其他设置（如vision transformer中multi-head数量、transformer层数等）；
GPU表示使用了什么GPU进行训练；
Time Expended表示训练时间；
Parameter表示模型的参数量，一般可认为都是32位浮点数，因此（参数量/4/1024/1024=?MB）即可大约估算出模型所占空间，从MobileNet开始进行统计，因此表格部分内容为NaN，后期逐渐补上吧…