文献阅读笔记—Improving Language Understanding by Generative Pre-Training

迁移学习在nlp领域的应用之pretrain language representation，四连载，建议按顺序看，看完对该方向一定会非常清楚的！

（一）ELMO：Deep contextualized word representations

（二）Universal Language Model Fine-tuning for Text Classification

（三）openAI GPT：Improving Language Understanding by Generative Pre-Training

（四）BERT: Pretraining of Deep Bidirectional Transformers for Language Understanding

一、 问题描述

为了方便nlp的迁移学习，人们提出采用无标注数据训练语言模型（language model），并在其后加上一层全连接和softmax组成分类器，用有标注数据fine-tuning分类器。本文不使用rnn而使用transformer decoder做语言模型，并且将模型的input根据task做一定的转变，以期待分类器基本不变。本文在自然语言推断，问答系统，语义相似度，文本分类这四个问题上做了