11、深度神经网络在 ImageNet 上的训练：ResNet 与 SqueezeNet 实战

深度神经网络在 ImageNet 上的训练：ResNet 与 SqueezeNet 实战

在深度学习领域，ImageNet 数据集一直是评估模型性能的重要基准。本文将深入探讨 ResNet 和 SqueezeNet 这两种经典架构在 ImageNet 上的训练过程、实验结果以及实现细节。

1. ResNet 训练实验

ResNet 是一种非常强大的卷积神经网络架构，但由于其网络参数众多，训练过程中容易出现过拟合问题。不过，与之前的实验相比，训练 ResNet 所需的 epoch 数较少。下面将详细介绍三个 ResNet 训练实验。

1.1 实验一

本实验旨在证明两个观点：一是使用没有预激活的残差模块会导致性能不佳；二是较小的初始学习率会降低网络的准确率。
- 操作步骤 ：
1. 实现没有预激活的残差模块。
2. 使用 SGD 优化器，初始学习率设为 1e - 2。
3. 保持其他参数与之前的实现一致。
4. 启动训练：

python train_resnet.py --checkpoints checkpoints --prefix resnet

5. 训练 20 个 epoch 后，学习率降至 1e - 3 并继续训练：

python train_resnet.py --checkpoints checkpoints --prefix resne