Task4 模型训练与验证

过拟合与欠拟合
过拟合：典型的表现为训练集损失远远小于验证集损失。
欠拟合：则表现为训练集损失大于验证集损失。

调参
1.dropout
一般适合于全连接层部分，而卷积层由于其参数并不是很多，所以不需要dropout，加上的话对模型的泛化能力并没有太大的影响。我们一般在网络的最开始和结束的时候使用全连接层，而hidden layers则是网络中的卷积层。所以一般情况，在全连接层部分，采用较大概率的dropout而在卷积层采用低概率或者不采用dropout。
2.学习率
学习率是一个非常非常重要的超参数，这个参数呢，面对不同规模、不同batch-size、不同优化方式、不同数据集，其最合适的值都是不确定的，我们无法光凭经验来准确地确定lr的值，我们唯一可以做的，就是在训练中不断寻找最合适当前状态的学习率。
越大的batch-size使用越大的学习率。原理很简单，越大的batch-size意味着我们学习的时候，收敛方向的confidence越大，我们前进的方向更加坚定，而小的batch-size则显得比较杂乱，毫无规律性，因为相比批次大的时候，批次小的情况下无法照顾到更多的情况，所以需要小的学习率来保证不至于出错。
差分学习率与迁移学习，在不同的层设置不同的学习率，可以提高神经网络的训练效果，在迁移学习时，我们利用很多预训练的经典模型直接去训练我们自己的任务，在优化部分，我们对网络的预训练部分使用