训练神经网络的技巧

1.    数据的预处理操作：

1)     如果使用预训练模型，一定要进行标准化；

2)     Shuffle，训练数据集要打乱顺序；

3)     针对训练图像，选择适合的数据增强方法；

2.    模型的操作

1)     选择合适的模型初始化参数。

2)     设置合适的学习率，使用预训练模型时，可以先设置为1e-4，然后再根据效果进行调整。

3)     激活函数选择Relu，加入BN或者dropout

4)     选择合适的优化算法，pytorch中一般选择Adam，收敛的效果相对来说比较好一点。