【一、基础篇】Q5：Encoder 和 Decoder 结构的主要区别？

Transformer模型中的Encoder和Decoder在结构上既有相似之处，也存在关键区别，这些区别决定了它们各自在模型中的独特作用。下面的表格清晰地展示了它们的核心差异。

对比维度	Encoder (编码器)	Decoder (解码器)
核心功能	理解者：为输入序列生成富含上下文信息的表示	生成者：以自回归方式逐步生成输出序列
注意力机制	多头自注意力：可关注输入序列中的所有词，是双向的	1. 掩码多头自注意力：只能关注已生成的词，是单向的，防止“偷看未来” 2. 编码器-解码器注意力：连接Encoder的输出，帮助Decoder聚焦输入序列的相关部分
训练方式	可并行处理整个输入序列	采用教师强迫方式进行训练，但推理时需自回归生成，逐个产出词元
典型应用	情感分析、命名实体识别等理解型任务（BERT为代表）	文本生成、机器翻译等生成型任务（GPT系列为代表）

💡 核心区别详解

1. 注意力机制的根本不同

这是两者最本质的区别。Encoder中的自注意力机制是全局和双向的。在处理一个词时，它可以同时关注输入序列中所有其他词的信息，从而获得对整个句子的完整理解。而Decoder的第一个注意力层是掩码的（Masked），这意味着它在生成某个词时，只能关注到这个词之前已经生成的词，确保生成过程是顺序进行的，不会“作弊”用到未来的信息。此外，Decoder独有的编码器-解码器注意力（又称交叉注意力）是关键，它让Decoder在生成每一个词时，都能去“询问”Encoder的输出，从而基于输入信息来生成当前最合适的词。

2. 功能定位与工作流程

Encoder的目标是将整个输入序列“编码”成一个复杂的、包含全部信息的上下文表示矩阵。它像一个阅读理解者，负责深度分析和理解输入内容。Decoder则利用Encoder提供的这个“理解”和自己已经生成的内容，来预测下一个词是什么。它是一个生成者，其工作方式是自回归的，即每次生成一个词，并将新生成的词反馈给自身作为下一步的输入，直到生成结束标志。

3. 应用场景的差异

由于架构的不同，它们的专长领域也自然分化。基于Encoder的模型（如BERT）在需要深度理解文本含义的任务上表现出色，例如文本分类、情感分析或问答。而基于Decoder的模型（如GPT系列）则是强大的生成器，擅长创作文章、对话、翻译等需要持续生成连贯序列的任务。完整的Encoder-Decoder架构（如T5、BART）则结合两者优势，特别适合需要根据给定输入进行条件生成的任务，例如摘要生成和机器翻译。

希望这个解释能帮助你清晰地理解Encoder和Decoder的核心区别