18、基于ResNet的图像分类实验：CIFAR - 10与Tiny ImageNet

基于ResNet的图像分类实验：CIFAR - 10与Tiny ImageNet

在图像分类任务中，ResNet是一种非常强大的卷积神经网络架构。下面将详细介绍在CIFAR - 10和Tiny ImageNet数据集上使用ResNet进行训练的实验过程。

1. 在CIFAR - 10上训练ResNet

1.1 实验1

在首次对CIFAR - 10进行实验时，为了避免过拟合，初始滤波器列表设置为(16, 16, 32, 64)，残差模块阶段设置为(9, 9, 9)，并使用了较小的L2正则化（reg = 0.0001）。使用SGD优化器，基础学习率为1e - 1，动量项为0.9。
训练命令如下：

$ python resnet_cifar10.py --checkpoints output/checkpoints

训练到50个epoch后，发现训练损失下降变慢，验证损失出现波动，两者差距逐渐增大。于是停止训练，将学习率降低到1e - 2后继续训练：

$ python resnet_cifar10.py --checkpoints output/checkpoints \
--model output/checkpoints/epoch_50.hdf5 --start-epoch 50

学习率下降后，验证损失得到稳定，但在75个epoch左右开始出现过拟合。再次停止训练，将学习率降低到1e - 3，继续训练10个epoch：