AR、AE、Seq2Seq的区别与面试点

1. 总览（一句话区分）

• AE（Encoder-only / AutoEncoder 型）：
  • 代表 BERT，目标是理解 —— 用 Masked LM 等去噪任务学语义表示
• AR（Decoder-only / AutoRegressive 型）：
  • 代表 GPT，目标是生成 —— 逐步预测下一个 token 的概率
• Seq2Seq（Encoder–Decoder）：
  • 代表 T5、BART，目标是转换（输入→输出） —— 编码输入，解码生成，与交叉注意力交互

一、AE（AutoEncoder，自编码器型）

原理核心

AE 型模型基于 Transformer 的 Encoder 部分

目标：学习上下文的语义表示，而非生成新文本
主要训练任务是 Masked Language Modeling（MLM）

结构

1、组成：

仅使用 Transformer 的 Encoder 部分，核心机制是双向注意力

2、双向注意力机制：

• 定义：

  • 在处理输入序列的每个词（或 token）时，模型同时考虑序列中所有位置（包括前文、后文及自身）的上下文信息，形成全局的语义表示

• 数学表达：

  • 对于输入序列 $X=[x_1,x_2,\dots ,x_n]$ ，每个 token 的输出表示通过自注意力机制计算：

    • 计算查询（Query）、键（Key）和值（Value）向量：

    $$\begin{gathered} Q=X{W}_Q,K=X{W}_K,V=X{W}_V \\ 其中W_Q,W_K,W_V是可学习的线性变换矩阵， \\ 形状为(d_{\text{model}},d_k)或(d_{\text{model}},d_v) \end{gathered}$$

  • 计算注意力分数：
    $$\begin{gathered} {\text{Attention Score}}_{i,j}=\frac{Q_i\cdot K_j}{\sqrt{d_k}} \\ 其中d_k是键向量的维度，用于缩放以稳定梯度 \end{gathered}$$

  • 应用 Softmax 得到注意力权重：
    $${\alpha }_{i,j}=\text{Softmax}({\text{Attention Score}}_{i,j})$$

  • 加权求和，生成上下文表示：
    $${\text{Output}}_i=\sum _j{\alpha }_{i,j}{V}_j$$

• 双向性：

  • 没有掩码限制，允许每个 token 关注序列中所有其他 token（包括前文和后文），因此称为“双向”

• 优势：

  • 捕捉全局上下文，适合理解型任务（如文本分类、命名实体识别）

  • 并行计算，效率高于 RNN 或 LSTM

• 缺点：

  • 不擅长文本生成（不能自回归生成下文）

• 与单向注意力的对比：

  • 单向注意力（如 Transformer 的 Decoder）通过因果掩码（causal mask）限制只关注当前及之前的 token，适合生成任务
  • 双向注意力适合需要完整上下文的任务，如 BERT 的预训练

3、训练机制

Masked Language Modeling（MLM），有时伴随 Next Sentence Prediction（NSP，BERT 原始）或其他任务

MLM：

• 输入句子时随机 Mask 一部分词（约15%）

• 模型根据上下文预测这些被 Mask 的词

  • MLM 损失：

    • $$L_{\text{MLM}}=-\sum _{i\in M}\log P_{\theta }(w_i\mid w_{\backslash M})$$

    • 其中：

      • $M$ ：被掩码的 token 索引集合
      • $w_i$ ：第 $i$ 个被掩码的 token
      • $w_{\backslash M}$ ：未被掩码的 token 序列
      • $P_{\theta }(w_i\mid w_{\backslash M})$ ：模型在给定未掩码序列的情况下正确预测被掩码 token $w_i$ 的概率

  • 意义：

    • 通过预测被掩码的 token，模型学习到 token 之间的语义和语法关系，利用双向上下文提高理解能力

NSP：

• 任务描述：
  • 给定两个句子 A 和 B，判断 B 是否是 A 的下一句（50% 概率是，50% 概率是随机的其他句子）
• 目标：
  • 增强模型对句子间关系的理解，适合问答、对话等任务

4、关键点

• 双向注意力：

  • 允许模型同时利用左右上下文，捕捉全局语义信息
  • 例如，在句子“他昨天去商店买了苹果”中，理解“买了”需要结合“他”（主语）和“苹果”（宾语），双向注意力可以轻松实现

• 去噪自编码器（Denoising Autoencoder）：

  • BERT 通过 MLM“去噪”输入（从被掩码的序列恢复原始 token），类似于传统自编码器从噪声输入重建原始数据
  • 区别于传统自编码器，BERT 的“噪声”是离散的（mask 或随机 token），而不是连续的噪声
  • “去噪自编码器”（Denoising AutoEncoder）思想：从残缺信息恢复原输入

面试常问点：

MLM 为什么能帮助模型学习语义？

如果我们不随机替换 token，而是只用 [MASK]，会有什么影响？

1、为什么MLM能帮助学习语义？

核心原理：

MLM 通过随机遮蔽约 15% token，要求模型基于左右双向上下文恢复缺失词，从而训练出上下文相关的分布式表示，使同一词在不同上下文中有不同向量，能捕捉词义、歧义消解与词间语义/语法关系

举个例子：

• 输入：“I love to eat [MASK] in the morning”
• 模型需要根据"love to eat"和"morning"推断出"[MASK]“可能是"breakfast”，而不是"lunch"或"dinner"

为什么有效：

• 模型必须学习词与词之间的关系（如"eat"和"breakfast"的关联）
• 模型需要理解句子的整体语义（而不仅仅是词频统计）
• 模型被迫学习双向上下文（同时考虑前文和后文）

如果只用[MASK]而不随机替换token的影响

标准策略（BERT）不是 100% 用 [MASK]，而是 80%→[MASK]，10% 替换为词汇表中的随机 token（非语义相关词），10%→保持原词，随机替换提供“负样本”（hard negatives）和噪声鲁棒性，避免模型只学会针对 [MASK] 的捷径

问题：如果只用 [MASK]： 模型仍能学到语义信息，但会产生预训练—微调不匹配、鲁棒性下降、样本利用率低（训练信号稀疏）以及对 [MASK] 的过度依赖，导致下游无掩码任务性能受损

1. 过度依赖[MASK]标记：模型会认为[MASK]是预测的标志，而不是理解上下文
   • 例如：模型可能学到"在[MASK]中，[MASK]是早餐"，但不知道[MASK]实际代表什么
2. 失去预测能力：模型只被训练预测[MASK]位置，而不是预测任何实际词
   • 模型无法学习"breakfast"、"lunch"等不同词的上下文关系
3. 泛化能力下降：模型只能预测[MASK]，不能预测其他词
   • 例如：当输入是"I love to eat [MASK] in the morning"，模型能预测"breakfast"，但当输入是"I love to eat [MASK] in the afternoon"，模型可能无法正确预测"lunch"
4. 上下文理解能力减弱：模型不再需要理解"eat"和"breakfast"的关系，只需要知道[MASK]代表一个食物词

“MLM通过随机遮蔽词，迫使模型从双向上下文中推断被遮蔽词，这使模型学会了真正的语义理解。如果只用[MASK]，模型会变成一个简单的[MASK]替换器，而不是学习语义。就像教孩子认字时，如果只教’这个字是’，而不展示实际的字，孩子永远不知道’这个字’具体代表什么。”

更技术的补充（面试会追问的点）

• “语义”的本质：MLM 学到的是词在特定上下文中的分布（p(token | context)）— 这使得模型能区分多义词（bank: river vs finance），并把词义编码进 embedding 层与 Transformer 层的上下文化表示中
• 负样本的作用：10% 的随机替换相当于提供“负样本”训练，使模型学会判别语义一致性（例如识别“eat table”之类的不合理组合），比仅做填空更能强化语义判别边界
• 样本效率替代：ELECTRA 的 replaced-token-detection 用判别器替代填空预测，能显著提高每步梯度信号的利用率（几乎对每个 token 都有学习信号），这是解决 MLM 信号稀疏问题的典型方法
• 分词粒度影响：使用 whole-word masking（遮蔽整个词而不是部分 subword）对语义单元更友好，利于学习实体/短语语义；而 subword 遮蔽会影响学习完整语义单元的能力

2. 为什么不能直接用 MLM 做生成？

**核心原因：**MLM是为理解设计的，不是为生成设计的

关键区别：

特性	MLM (理解)	生成 (Next Token Prediction)
输入	整个句子	前面的词序列
目标	预测被遮蔽的词	预测下一个词
上下文	双向 (前文+后文)	单向 (仅前文)
训练方式	随机遮蔽	顺序预测
输出	预测被遮蔽的词	生成新词

核心矛盾：MLM 是并行的、双向、去噪/恢复任务；生成（自回归）是串行的、单向、依据历史逐步产生任务，MLM 在训练时“能看见未来”，这在生成场景中构成信息泄露，破坏自回归概率分解（causal factorization），使得直接用 MLM 做生成会导致概率估计与解码策略不匹配，从而输出不连贯或不具因果性

1. 上下文方向问题：
   • MLM使用双向上下文（能看到整个句子的前后文）
   • 生成任务需要单向上下文（只能看到前面的词，不能看到后面的词）
   • 例如：当生成"I love to eat"时，模型不能知道后面会是"breakfast"，因为MLM会看到整个句子
2. 训练目标不匹配：
   • MLM训练目标是预测被遮蔽的词，不是生成新词
   • 生成任务需要自回归（按顺序生成，每一步依赖前一步的结果）
   • MLM没有训练模型按顺序生成词
3. 输出机制问题：
   • MLM的输出层是为预测被遮蔽词设计的
   • 生成任务需要一个能输出概率分布的层，用于采样下一个词
4. 实际效果：
   • 如果尝试用MLM做生成，模型会尝试"预测"整个句子，而不是按顺序生成
   • 例如：输入"I love to eat"，模型会试图预测整个句子中所有被遮蔽的词，而不是预测下一个词

MLM和生成任务在本质上是不同的。MLM是理解任务，模型被训练去预测被遮蔽的词，这需要看到整个句子的上下文。而生成是按顺序的自回归任务，模型只能看到前面的词。就像一个人在读一本书时，MLM是让他猜出被遮住的字，而生成是让他继续写下去。如果用MLM来做生成，模型会试图’预测’整个句子，而不是按顺序生成新词，这就像要求一个学生在阅读时突然跳到后面去猜字，而不是按顺序阅读。

更技术的补充

• Teacher Forcing vs 推理：自回归生成训练常用 Teacher Forcing（训练时输入真实前一步标签），但推理时模型用自己生成的 token 作为下一步输入。MLM 的训练范式与此不同：它并没有训练模型在“使用自己生成的历史”这一状态下保持稳定，因此迁移到自回归推理会出问题。
• 输出机制差异：MLM 是一次性并行预测所有被遮蔽位置；自回归生成需要逐步采样（beam/search/temperature），两者解码策略和概率目标根本不同。
• 非自回归方法例外：有一类非自回归或迭代生成（Mask-Predict、GLAT、MASS）用 MLM 风格的并行填充+迭代改进来生成文本，速度快但通常在质量、多样性或长依赖上与自回归有权衡。

3、如果想用MLM做生成，需要做哪些修改？BERT和GPT的预训练目标有什么本质区别？

要么改变训练目标/掩码策略（变为自回归或序列到序列的去噪），要么改变架构（加 Decoder 或改成 Decoder-only）。

实践中更靠谱的路径是采用 encoder–decoder 去噪（BART/T5） 或 在训练中用可控 attention masks（UniLM），而非简单把 BERT encoder 的注意力改为因果就算完事

可行改造路线（实践优先级）

1. Encoder–Decoder 去噪（推荐）：保持 encoder 学理解（去噪），用 decoder 进行自回归生成，代表：BART、T5（span corruption/denoising objectives），这既保留了理解能力，又天然支持生成解码
2. 基于 attention mask 的多任务（UniLM 风格）：在同一架构下通过训练时切换不同的 attention masks，使模型在理解、掩蔽填空、自回归生成之间共享参数
3. Decoder-only（把 BERT 改成 GPT 风格）：需要大量重新训练，并处理位置编码/层归一化/embedding tie 等细节；可行但代价高
4. 非自回归/迭代生成：用 MLM 式并行填空和若干次迭代更新来生成（如 Mask-Predict），速度有优势但质量存在权衡

BERT vs GPT

• BERT：完形填空（重建）——强调上下文重构与语义理解
• GPT：续写（创造）——强调历史因果与逐步生成

4、如果我们想用 BERT 做生成任务，可以怎么改造？直接用 Encoder 的双向注意力会有什么问题？

直接用BERT做生成任务的核心问题

BERT的双向注意力机制是根本性问题，双向注意力允许访问未来信息 ，这就会导致模型会看到未来的信息，造成训练时信息泄露，并且，自回归生成要求因果（未来不可见），两者概率形式不兼容

举个具体例子

假设我们想生成句子：“I love to eat [MASK] in the morning”

• BERT的双向注意力：模型会同时看到"I love to eat [MASK] in the morning"的全部上下文，因此可以"看到"后面的"morning"，知道[MASK]应该是"breakfast"
• 实际生成过程：模型应该只能看到"I love to eat"，然后预测下一个词，不能"知道"后面的内容

这就像要求你写故事时，先看到故事结局，再根据结局写前面的内容——这显然不是真正的生成过程

如何BERT改造为生成模型：核心技术要点与实现方案

要改造BERT做生成，我们需要做三件事：

1. 修改自注意力机制（最关键改造）

• 注意力掩码：将双向自注意力改为单向自注意力（因果注意力），添加因果掩码（causal mask）是最直接最关键的一步，确保每个位置只能看到它前面的位置
• 实现方式：在计算注意力分数时，将未来位置的注意力分数置为负无穷，使Softmax后这些位置的概率为0

# 双向注意力掩码（BERT原有）
[[1, 1, 1, 1],
 [1, 1, 1, 1], 
 [1, 1, 1, 1],
 [1, 1, 1, 1]]

# 因果注意力掩码（改造后）
[[1, 0, 0, 0],
 [1, 1, 0, 0],
 [1, 1, 1, 0], 
 [1, 1, 1, 1]]

工程实现方式

• 位置：在计算注意力分数后，Softmax之前应用
• 数值：将未来位置分数设为极大负值（如-1e9）
• 效果：确保每个token只能关注自身及左侧token

这是GPT系列模型的核心原理，也是为什么GPT是Decoder-only架构，而BERT是Encoder-only架构

2. 改变预训练目标

1、从MLM到Next Token Prediction

• 放弃：随机掩码预测（MLM）
• 采用：序列下一个词预测（Next Token Prediction）
• 原因：消除训练-推理不匹配，确保自回归生成一致性

2、重构训练数据

原始序列: "我早上喜欢吃面包和喝牛奶"
训练样本:
输入: "我"          目标: "早上"
输入: "我早上"      目标: "喜欢" 
输入: "我早上喜欢"  目标: "吃"
...

3. 架构改造方案

1、Decoder-only方案（推荐）：

# 架构转换策略
原始BERT (Encoder-only) → 改造后 (Decoder-only)

# 具体操作：
1. 保留所有BERT层权重
2. 为每层自注意力添加因果掩码
3. 将MLM头替换为LM头（Next Token Prediction）
4. 保持词表嵌入，绑定输入输出权重

2、Encoder-Decoder方案（复杂但强大）

• Encoder：保留原始BERT，继续使用MLM类目标
• Decoder：新建组件，使用因果注意力+Next Token Prediction
• Cross-Attention：随机初始化，连接Encoder-Decoder

4、工程实现细节：

权重迁移策略：

• Decoder-only方案权重处理

  • 自注意力权重：直接复制BERT权重
  • 前馈网络权重：直接复制BERT权重
  • 位置编码：评估是否需要调整（绝对→相对）

• 注意事项

  • 性能损失：双向权重用于单向任务会有性能下降
  • 训练需求：需要充分微调以适应单向注意力模式

位置编码优化：

• 问题分析：

  • BERT使用绝对位置编码，限制生成长度

  • 生成任务需要更好的长度外推能力

• 解决方案：

  • 保留：继续使用BERT的绝对位置编码（简单）

  • 升级：替换为相对位置编码（如RoPE）或ALiBi（更好）

训练配置调整

• 学习率策略

  • 使用较小的学习率（如1e-5到5e-5）

  • 采用warmup策略，避免权重破坏

• 批次构建

  • 使用文档级连续文本
  • 采用动态填充，提高训练效率

5. 实际应用案

阶段1: 架构改造
    ↓ (添加因果掩码，更换输出头)
阶段2: 目标适应训练  
    ↓ (Next Token Prediction微调)
阶段3: 领域适应
    ↓ (在特定领域数据上继续训练)
阶段4: 任务微调
    ↓ (在具体生成任务上优化)

评估指标

• 流畅度：困惑度(Perplexity)
• 相关性：BLEU、ROUGE（基于任务）
• 多样性：Distinct-n、Self-BLEU
• 人工评估：生成质量、连贯性评分

为什么不能简单地用BERT的双向注意力做生成

1. 上下文信息泄露：模型"知道"未来内容，导致生成内容不是基于实际的上下文，而是基于未来信息
2. 不符合生成逻辑：生成任务需要自回归（autoregressive）过程，即每次生成一个词，然后基于已生成的词继续生成
3. 输出不一致：BERT的输出是整个序列的上下文表示，而不是逐词的生成概率分布

总结

问题	说明	解决方案
双向注意力问题	模型能"看到"未来内容	改为单向自注意力（添加因果掩码）
预训练目标不匹配	MLM vs Next Token Prediction	改为Next Token Prediction
架构问题	Encoder-only vs Decoder-only	改为Decoder-only或添加Decoder

一句话总结：BERT的双向注意力让它成为优秀的理解模型，但恰恰是这种双向性让它不适合生成任务。要让它做生成，必须将其改造为单向注意力的架构，就像GPT系列所做的那样。

二、AR（AutoRegressive，自回归型）——代表模型：GPT 系列

原理核心

AR 型模型使用 Transformer 的 Decoder 部分。
目标：通过条件概率预测下一个词。

训练机制

模型学习一个语言分布：
$$P(w_1,w_2,...,w_n)=\prod _{i=1}^{n}P(w_i|w_1,...,w_{i-1})$$
即，每次根据前面的词预测下一个词

例如：

输入: 我 喜欢
预测: 猫

模型结构

• 仅使用 Transformer 的 Decoder 堆叠
• 注意力为 单向（左到右）Mask Attention，防止看到未来的词

优点

• 自然语言生成流畅、连贯
• 适合开放式问答、对话、续写、代码生成等任务

缺点

• 只能单向建模（无法直接看到未来上下文）
• 对理解任务效果稍逊

面试关键词

“GPT 是典型的自回归语言模型，通过预测下一个 token 的概率来生成文本。”

---

三、Seq2Seq（Encoder–Decoder，序列到序列）——代表模型：BART、T5

原理核心

Seq2Seq 模型结合 Encoder + Decoder：

• Encoder 理解输入
• Decoder 基于理解生成输出

训练机制

典型任务：机器翻译、摘要生成
例如：

输入: 我喜欢猫。
输出: I like cats.

Encoder 编码中文语义，Decoder 生成对应英文

模型结构

• Encoder：双向注意力（理解输入）
• Decoder：带 Mask 的单向注意力（生成输出）
• 同时 Decoder 还对 Encoder 的输出执行 交叉注意力（Cross Attention）

优点

• 同时具备理解和生成能力
• 能处理输入输出不对称的任务（翻译、摘要、问答）

缺点

• 模型参数更多，训练成本高

面试关键词

“Seq2Seq 模型通过 Encoder 理解输入语义，Decoder 自回归生成目标序列，是 Encoder-Decoder 结构的典型实现”

四、面试速答总结

类型	代表模型	架构	注意力方向	训练目标	适用任务
AE	BERT, RoBERTa	Encoder-only	双向	Masked LM（MLM）	语义理解
AR	GPT 系列	Decoder-only	单向（左到右）	Next Token Prediction	文本生成
Seq2Seq	T5, BART	Encoder–Decoder	编码双向 + 解码单向	输入→输出映射	翻译、摘要、QA

面试回答模板（你可以背）

“在 Transformer 家族中，BERT 属于自编码器型（AE），通过 Masked Language Modeling 去学习上下文语义；
GPT 属于自回归型（AR），通过条件概率预测下一个词，擅长生成；
而 T5、BART 则是 Seq2Seq 架构，结合 Encoder 理解与 Decoder 生成，适合翻译和摘要
三者的核心区别在于注意力方向和训练目标”