项目实战（十） - - GPT-2实现文本生成

GPT-2实现文本生成

由于GPT-2主要基于Transformer的Decoder模块，前两节笔记中已将大部分要点详细介绍，本节更多的关注GPT-2不同的部分

1. Result 呈现

GPT-2实现文本生成的成果展现，给定一个输入，模型会将后续向量依次输出，从而生成句子子，理解了前面语言模型实战博客的过程，这里就比较容易了

2. GPT-2 VS BERT

• 结构差异
  GPT-2 是使用「transformer 解码器模块」构建的，而 BERT 则是通过「transformer 编码器」模块构建的

• 任务差异
  GPT-2 就像传统的语言模型一样，一次只输出一个单词（token）；BERT训练两个任务：①Masked Language Model; ②Next Sentence Prediction

• 模型差异
  GPT-2，以及一些诸如 TransformerXL 和 XLNet 等后续出现的模型，本质上都是自回归模型，BERT不同。虽然没有使用自回归机制，但 BERT 获得了结合单词前后的上下文信息的能力，从而取得了更好的效果

XLNet 使用了自回归，并且引入了一种能够同时兼顾前后的上下文信息的方法

3. Self-Attention VS Masked Self-Attention

Self-Attention模块允许一个位置看到它右侧单词的信息（如下左图），而Masked Self-Attention模块则不允许看到后方要预测的信息（如下右图）