Seq2seq, autoregressive, autoencoding的区别

许多人看paper或blog苦于区分Seq2seq, Autoregressive, Autoencoding的概念，似懂非懂。

Seq2seq: 把一个sequence 映射到另一个sequence的模型都叫seq2seq模型。通常有encoder-decoder结构（encoder-decoder，transformer等），但也不一定（GPT也能做seq2seq）。对应的典型任务比如对话，翻译等。

Autoencoding: 把input encode到一个hidden state再通过试图重构input的方式去学习如何得到一个更优的hidden state。典型的autoencoding模型像BERT（对应任务是masked language modeling），auto-encoder等等都是。主要用于natural language understanding任务。

Autoregressive: 仅根据过去的预测信息来预测未来的信息就叫auto regressive。典型的model像GPT-2。通常用于做natural language generation。