（深度学习）Pytorch进阶之实现AlexNet

最新推荐文章于 2024-09-18 17:15:48 发布

原创

最新推荐文章于 2024-09-18 17:15:48 发布 · 1.3k 阅读

12 ·

CC 4.0 BY-SA版权

文章标签：

#python #深度学习 #卷积神经网络 #tensorflow

本文详细介绍如何使用Pytorch实现AlexNet卷积神经网络，并在CIFAR-10数据集上进行训练和测试，包括代码细节、数据集处理、训练可视化及模型优化。

（深度学习）Pytorch进阶之实现AlexNet

综述

这是Pytorch深度学习系列的第二个项目。

在上一篇文章Pytorch实现MLP并在MNIST数据集上验证文章中，我们实现了一个基础的神经网络。这次，我们要更进一步，实现一个CNN（卷积神经网络）——AlexNet。

2012 年，Alex 等人提出的 AlexNet 网络在 ImageNet 大赛上以远超第二名的成绩夺冠，卷积神经网络乃至深度学习重新引起了广泛的关注。AlexNet 是在 LeNet 的基础上加深了网络的结构，学习更丰富更高维的图像特征。AlexNet 的特点：

更深的网络结构
使用层叠的卷积层，即卷积层+卷积层+池化层来提取图像的特征
使用 Dropout 抑制过拟合
使用数据增强 Data Augmentation 抑制过拟合
使用 Relu 替换之前的 sigmoid 的作为激活函数
多 GPU 训练

数据集

本次使用的数据集为CIFAR-10数据集，官网上可能下载较慢，可以在https://pan.baidu.com/s/1bGVGeeiw001qz-PUk7q1Uw（提取码：m35y）中下载python版本的数据集。

数据集存放在根目录下data目录中，结构如下:

data
 └── cifar-10-batches-py

另外，虽然torchvision.datasets.CIFAR10中已经可以直接调用CIFAR10，但在本次项目中，我还是自己实现了一个解析CIFAR-10数据集的类。

代码细节说明

本次代码主要由四个结构构成：用于训练的 train.py、用于测试的 test.py、用于构造 AlexNet 模型的 Alexnet.py 以及用于构造自己的 CIFAR-10 数据集的MyCIFAR10.py。程序执行的主体思路是：首先由 train.py 对构造的 AlexNet 模型在训练集上进行训练并保存相关的 checkpoint，再由 test.py 读取 checkpoint 并在测试集上测试手写数字识别的准确率。

Alexnet.py：

我所构造的 Alexnet,参考了 torchvision.models.alexnet，并做出了以下改变：

在 Conv2d 层中就卷积核大小、步长、填充长度进行了改变。
在池化层中改变了卷积核大小，避免后续图片过小。
删除了 avgpool。

def __init__(self, num_classes=10):
    super(Alexnet, self).__init__()
    # 卷积层
    self.features = nn.Sequential(
        nn.Conv2d(3, 64, kernel_size=3, stride=1, padding=1),  # 缩小卷积核，步长、填充
        nn.ReLU(inplace=True),  # inplace=True，覆盖操作，节省空间
        # nn.MaxPool2d(kernel_size=2),  # 32 -> 16
        nn.Conv2d(64, 192, kernel_size=3, stride=1, padding=1),
        nn.ReLU(inplace=True),
        nn.MaxPool2d(kernel_size=2),  # 32 -> 16
        nn.Conv2d(192, 384, kernel_size=3, stride=1, padding=1),
        nn.ReLU(inplace=True),
        nn.Conv2d(384, 256, kernel_size=3, stride=1, padding=1),
        nn.ReLU(inplace=True),
        nn.Conv2d(256,