自编码/自回归/seq2seq 真的理解了吗？

宏观来讲，当今的天下，可以说是transformer的天下，今天下三分，分别是 自编码（Autoencoder），自回归（Autoregressive），和Seq2Seq（Sequence-to-Sequence）。

怎么理解呢？有个图表很不错，分享一下：

Transformer(天下)
encoder（左派）	encoder+decoder（中立派）	decoder（右派）
自编码 代表：bert	seq2seq 代表：bart	自回归 代表：gpt

上面那个图大家看了可能就会首先有个宏观的了解，接下来，会稍微细节简单说一下，之后相关的文章也会跟进。

1.自编码（Autoencoder）：

        定义：大家经常看到的是这个无监督学习输入的特征的方法，本人浅显理解，因为无监督，所以叫自编码，编码就是常规理解，对输入做映射。

        细节定义：自编码的目标是学习输入数据的紧凑表示，也称为编码（encoding）。它包括一个编码器（将输入映射到编码表示）和一个解码器（将编码表示映射回输入空间）。

      结构：自编码器通常分为编码器和解码器两个部分。

      应用：这里我还没有想好比较好的解释，之后补上，先放一个常规的解释，bert模型在训练时，会对输入的一句话中的某些词做mask，也就是挖空，然后利用上下文来进行学习，也就是常规的完型填空，这是典型的应用可以参考第十篇：上下文表示-优快云博客。

2.自回归（Autoregressive）：

        定义：为什么叫自回归呢？说到回归大家可能第一反应线性回归，与传统的线性回归不同，自回归使用自身以前的信息来预测当下时间的信息，即用自己预测自己，称之为自回归。

      结构：类似于rnn的结构。可以参考：第七篇：循环神经网络_第七章 循环神经网络-优快云博客

      应用：对比上面的阅读理解，这里是文本生成，简单来说，他只有上文没有下文，下文要他自己生成。常用于自然语言生成（NLG）领域的任务：摘要、翻译。

3. seq2seq（Sequence-to-Sequence）

      定义：大白话，从一个序列到另一个序列，最容易想到的就是翻译任务，从中文翻译成英文。

      结构：同时使用了encoder+decoder

      应用：它一般应用于需要内容理解和生成的任务，比如机器翻译。可参考第十六篇：机器翻译_机器翻译学习案例csdn-优快云博客

今天先简单分享这些，大家有问题可以及时评论区交流哈。

                        
原文链接：https://blog.youkuaiyun.com/xiyuanhao/article/details/134470859

参考wiki：

自编码、自回归、Seq2Seq的区别是什么？_自回归 自编码-优快云博客

自回归和自编码 - 知乎 (zhihu.com)

一文读懂GPT家族和BERT的底层区别——自回归和自编码语言模型详解 - 知乎 (zhihu.com)