深度学习原理 Lesson 12：进阶训练技术；从零搭建ULMFiT

1

   

简介

主要讲解了transfer learning 和 NLP 的原理会用到大量的callbacks

1. MixUp：一个数据增强技术，用更少的数据，更少的训练时间，实现同样的效果

2. Label Smoothing：和MixUp搭配使用，适用于label中有噪音的情况（即错误数据）

3. Mixed Precision Traing：混合精度的训练，在许多场景下都能快3倍以上

4. XResNet：ResNet的升级版本，重新部署下

5. ULMFiT：文本分类 的通用语言模型 微调 Universal Language Model Fine-tuning for Text Classification

   1. LSTM RNN

   2. 处理NLP数据

2

   

MixUp

就是随机把2张图重叠到一起，让机器去识别这两种的可能性，最终可以实现用更少的数据得到更好的效果。

调用方式 Learner.mixup( )如下图：70%是高尔夫球 30%是狗

3

   

Label Smoothing

训练时有些数据被错误的标记，尤其是数据量很大时，很难一个