NLP-预训练模型-2017：ULMFiT（Universal LM Fine-tuning for Text Classification）【使用AWD-LSTM；模型没有创新；使用多个训练小技巧】

1. 迁移学习在计算机视觉有很大的影响，但现在的NLP中的方法仍然需要特定任务的修改和 从头开始的训练。
2. 我们提出通用语言模型微调，一种可以应用NLP任何任务中的迁移学习方法。
3. 我们模型在分类任务中都表现得良好，并且在小数据集上的表现优异。

一、ULMFiT （Universal Language Model Fine- tuning）组成步骤：

a) General-domain LM pretraining ;
b) target task LM fine-tuning;
c) target task classifier fine-tuning

二、Fine-tuning小技巧

1、Discriminative fine-tuning

2、Concat pooling

3、Slanted triangular learning rates

4、Gradual unfreezing（逐层解冻）

5、BPTT for Text Classification (BPT3C)