Azperk的博客

T5 论文提出了将所有 NLP 任务转换为文本生成问题所有任务输入都是文本，输出也是文本，无论是分类、翻译、摘要还是问答任务。采用标准的 Encoder-Decoder Transformer 结构，相比于 BERT 只使用 Encoder，T5 具有更强的生成能力。使用 C4 数据集进行大规模预训练，然后在不同任务上进行微调。

Encoder（编码器）：编码器负责接收输入序列并将其转化为中间表示。在BART和mBART中，编码器通常使用Transformer架构，逐步提取输入序列的特征。Decoder（解码器）：解码器接收编码器的输出并生成目标序列。在生成过程中，解码器会根据编码器的表示以及之前生成的内容生成下一个词，直到生成完整的目标序列。Encoder-Decoder结构的关键优势在于能够处理输入和输出长度不等的任务，并且通过自注意力机制（Self-Attention）增强了模型对远程依赖关系的建模能力。

BART 论文提出了去噪自编码器（Denoising Autoencoder）对输入文本进行扰动（如随机删除、打乱顺序、替换等）。让模型恢复原始文本，从而学习强大的文本表示能力。Encoder-Decoder 结构结合了 BERT（双向编码）和 GPT（自回归解码）的优势。

Encoder-Decoder结构是一个深度学习模型的常见设计模式，特别适用于输入和输出序列长度不固定的任务。例如，在机器翻译中，输入可能是一个英语句子，输出则是一个对应的法语句子。Encoder：编码器负责接收输入数据并将其转换为一个固定长度的向量表示。它通常由多个Transformer层堆叠而成，每层会对输入数据进行处理，逐步提取特征。Decoder：解码器负责接收编码器输出的向量表示，并根据此生成输出序列。