深度学习模型训练问题记录

1，res50在cifar10上准确率低于res18

1，res50在cifar10上准确率低于res18

发现res18不加weight decay准确率可达86，但是res50只到80。
加入weight decay后，res50准确率提高到89。
res18准确率从86提高到87.8
测试除以255和利用imgnet的mean[0.485, 0.456, 0.406]和std先除以256，再减去mean和std。在res18上测试，感觉有略微提高，从87.8上升为88.1
加入flip和随机裁剪，res18提高到90.7

其他无效的测试：
batch size，32变为128，准确率86->84。
删除第一层的relu，在有其他优化的情况下无变化