十五、自回归（AutoRegressive）和自编码（AutoEncoding）语言模型

自回归与自编码语言模型：优缺点及应用比较

原创

已于 2024-03-17 09:21:11 修改 · 2.6k 阅读

15 ·

CC 4.0 BY-SA版权

文章标签：

#回归 #语言模型 #数据挖掘

于 2024-03-16 09:38:06 首次发布

本文讨论了自回归语言模型（AR）和自编码语言模型（AE）在自然语言处理中的应用，AR适合生成类任务但单向，AE具有更强的泛化性和无监督学习能力，但对生成式问题支持有限。

参考自回归语言模型（AR）和自编码语言模型（AE）

1 自回归语言模型（ AR）

自回归语言模型（AR）就是根据上文内容（或下文内容）预测下一个（或前一个）可能跟随的单词，就是常说的自左向右（或自右向左）的语言模型任务，即通过前 t - 1（或后 t - 1 ）个 tokens 来预测当前时刻 t 的 token，代表的自回归语言模型有 ELMO 和 GPT。

1.1 优点

在处理生成类自然语言处理任务时，就是从左向右的，比如文本摘要，机器翻译等，自回归语言模型天然匹配这个过程。

1.2 缺点

该模型是单向的，只能利用上文或者下文的信息，不能同时利用上文和下文的信息。

2 自编码语言模型（AE）

自动编码器的逻辑过程是指原始 input（设为 x）经过加权（W 和 b)、映射（Sigmoid）之后得到 y，再对 y 反向加权映射回来成为 z。通过反复迭代训练（W 和 b），使得误差函数 L(H) 最小，即尽可能保证 z 近似于 x ，即完美重构了 x。那么可以说正向权重（W 和 b）是成功的，很好的学习了 input 中的关键特征。

自动编码器过程图如下：参考自动编码器