NLP高频面试题（六）——decoder-only、encoder-only和encoder-decoder的区别与联系

一、基本概念与代表模型

1. Encoder-only 架构

Encoder-only 架构最具代表性的模型是 BERT。BERT 使用 masked language modeling（MLM）进行预训练，即随机遮蔽部分输入词汇，让模型预测被遮蔽的词汇。由于这种架构能够同时看到输入序列的上下文信息，BERT 非常擅长文本理解）任务，如文本分类、命名实体识别等。

2. Decoder-only 架构

Decoder-only 架构的经典代表是 GPT 系列模型，如 GPT-3 和 GPT-4。GPT 模型使用 next token prediction 进行训练，在生成某个词的表征时，仅能看到该词及其之前的所有信息，而不能看到后续信息。这种单向注意力机制称为 causal mask。

3. Encoder-decoder 架构

Encoder-decoder 架构最早由 Transformer 提出，用于seq2seq任务，代表模型有 T5 和 BART。Encoder 部分处理输入序列并抽取特征，Decoder 部分根据 Encoder 提供的特征生成目标序列，典型应用是翻译和摘要生成。

二、架构对比与分析

1. 信息关注方向的不同

• Encoder-only 架构使用的是