Improving Language Understanding by Generative Pre-Training GPT-1详细讲解

Improving Language Understanding by Generative Pre-Training 2018.06 GPT-1

0.有监督、半监督、无监督

CV：ImageNet pre-trained model NLP：pre-trained model?
在计算机视觉中任务包含分类、检测、分割，任务类别数少，对应目标函数loss可控，加上数据容易标注，ImageNet pre-trainded model等易实现

难点：
NLP中任务太多，分类、问答、翻译、总结，分析等等各种任务，
1.利用未标记文本的挑战在于不清楚哪种优化目标对于学习有用的文本表示最为有效。
2.另一挑战是怎么样把学习到的无监督迁移到子任务中。
且标注数据较难，所以预训练模型在NLP中一直未大量使用。

1.GPT简介
GPT训练=无监督的预训练阶段（给定当前单词之前的上下文预测下一个词的概率来学习语言表示，生成式训练生成新的文本，基于统计）+有监督的微调阶段（特定任务上标注的数据微调训练，判别式微调）
本文提出的生成式预训练方法(Generative Pre-Training)基于各种未标记文本无监督、生成式预训