6.3 注意力机制入门：Transformer的前世今生

6.3 注意力机制入门：Transformer的前世今生

在前面的章节中，我们学习了处理序列数据的循环神经网络（RNN）及其改进版本LSTM和GRU。虽然这些模型在许多序列任务中表现出色，但它们也存在一些固有的局限性，如难以并行化训练和处理长距离依赖关系。

注意力机制（Attention Mechanism）的提出彻底改变了序列建模的方式。它允许模型在处理序列时动态关注输入的不同部分，从而更好地捕捉长距离依赖关系。基于注意力机制的Transformer架构更是成为了现代自然语言处理的基石，催生了BERT、GPT等强大的预训练语言模型。

本节将深入探讨注意力机制的原理、Transformer架构以及它们如何革新了深度学习领域。

注意力机制的诞生背景

在传统的序列到序列（Seq2Seq）模型中，编码器将整个输入序列压缩为一个固定长度的上下文向量，然后解码器基于这个向量生成输出序列。这种方法在处理长序列时效果不佳，因为固定长度的向量难以包含所有必要信息。

注意力机制的提出解决了这个问题，它允许解码器在生成每个输出时动态关注输入序列的不同部分：