自回归语言模型（Autoregressive LM）& 自编码语言模型（Autoencoder LM）

• 自回归语言模型（Autoregressive LM）

简单的说，Autoregressive 就是根据上文预测下文或者根据下文预测上文，典型的代表：GPT ，其他代表ELMO等。
缺点：只能利用上文或者下文的信息，不能同时利用上文和下文的信息

• 自编码语言模型（Autoencoder LM）

Autoencoder 是根据上下文语境来进行预测，典型的代表：BERT。
缺点：输入时引入[Mask]标记，导致Train阶段和Fine-tuning阶段不一致的问题。