fastai2017（三）

1、训练模型时，学习率应该从小到大调整，如果发现训练的准确度随着epoch的变化差距比较大，说明可以适当的调大一点。
2、数据增强会导致卷积层每次的输出都不一样，所以在训练的时候要考虑到这点
3、半监督：训练的一种技巧，指的是使模型充分利用未标记的数据来理解数据的结构，具体操作是取部分未标注的数据，通过已有的模型进行预测得到相应的伪标签，然后将这部分标签跟真实的标签结合在一起，将这部分数据跟已做标记的数据结合在一起，进行训练，能够在一定程度上提高准确率。
4、自己编写神经网络层时首先从最简单的开始，给与较小的学习率，如果训练集准确度有较为明显的提高可以适当提高学习率；之后尝试数据增强与批量正则化，学习率也遵循一个由小到大的过程，如果训练准确度有进一步提高但不稳定，此时可以尝试dropout，最终完善模型。