十五、自回归（AutoRegressive）和自编码（AutoEncoding）语言模型

参考自回归语言模型（AR）和自编码语言模型（AE）

1 自回归语言模型（ AR）

自回归语言模型（AR）就是根据上文内容（或下文内容）预测下一个（或前一个）可能跟随的单词，就是常说的自左向右（或自右向左）的语言模型任务，即通过前 t - 1（或后 t - 1 ） 个 tokens 来预测当前时刻 t 的 token，代表的自回归语言模型有 ELMO 和 GPT。

1.1 优点

在处理生成类自然语言处理任务时，就是从左向右的，比如文本摘要，机器翻译等，自回归语言模型天然匹配这个过程。

1.2 缺点 

该模型是单向的，只能利用上文或者下文的信息，不能同时利用上文和下文的信息。

2 自编码语言模型（AE）

自动编码器的逻辑过程是指原始 input（设为 x）经过加权（W 和 b)、映射（Sigmoid）之后得到 y，再对 y 反向加权映射回来成为 z。通过反复迭