18、ResNet在CIFAR - 10和Tiny ImageNet上的实验与优化

ResNet在CIFAR - 10和Tiny ImageNet上的实验与优化

1. ResNet在CIFAR - 10上的实验

1.1 实验一

在首次对CIFAR - 10进行实验时，担心网络中的滤波器数量会导致过拟合。初始滤波器列表设置为(16, 16, 32, 64)，残差模块阶段为(9, 9, 9)，并应用了较小的L2正则化（reg = 0.0001）。使用SGD优化器，基础学习率为1e - 1，动量项为0.9进行训练。
训练命令如下：

$ python resnet_cifar10.py --checkpoints output/checkpoints

训练到第50个epoch后，发现训练损失下降速度变慢，验证损失出现波动，两者差距逐渐增大。于是停止训练，将学习率降至1e - 2，继续训练：

$ python resnet_cifar10.py --checkpoints output/checkpoints \
--model output/checkpoints/epoch_50.hdf5 --start-epoch 50

学习率下降后，验证损失趋于稳定，但在第75个epoch左右开始出现过拟合。再次停止训练，将学习率降至1e - 3，继续训练10个epoch：

$ python resnet_cifar10.py --checkpoints output/checkp