18、ResNet在CIFAR - 10和Tiny ImageNet上的实验与优化

ResNet在CIFAR - 10和Tiny ImageNet上的实验与优化

1. ResNet在CIFAR - 10上的实验

1.1 实验1

在首次对CIFAR - 10进行实验时，担心网络中的滤波器数量会导致过拟合。初始滤波器列表为(16, 16, 32, 64)，残差模块阶段为(9, 9, 9)，并应用了较小的L2正则化（reg = 0.0001）。使用SGD进行训练，基础学习率为1e - 1，动量项为0.9。
训练过程如下：
- 开始训练：

$ python resnet_cifar10.py --checkpoints output/checkpoints

• 第50个epoch后，训练损失开始放缓，验证损失出现波动，两者差距增大。停止训练，将学习率降至1e - 2，继续训练：

$ python resnet_cifar10.py --checkpoints output/checkpoints \
--model output/checkpoints/epoch_50.hdf5 --start-epoch 50

• 第75个epoch左右开始出现过拟合，再次停止训练，将学习率降至1e - 3，继续训练10个epoch：

$ python resnet_cifar10.py --checkpoints output