【人工智能学习】第十四课：理解自注意力机制和Transformer模型

第十四课：自注意力机制和Transformer

1. 自注意力机制简介

自注意力机制（Self-Attention）是一种允许输入序列中的每个位置都与其他所有位置交互以计算表示的机制。它是Transformer架构的核心，被广泛应用于自然语言处理（NLP）和计算机视觉（CV）等领域。

自注意力机制的计算

给定一个序列(X)（例如，一个句子中的单词序列），自注意力通过以下步骤计算序列中每个元素的新表示：

1. 查询（Query）、键（Key）和值（Value）：首先，对于序列中的每个元素，使用三个不同的权重矩阵将其映射到查询向量(Q)、键向量(K)和值向量(V)。

2. 注意力分数（Attention Scores）：然后，计算每对元素之间的注意力分数，这通常是通过计算查询向量与键向量的点积来实现的：

   [ \text{Attention}(Q, K, V) = \text{softmax}\left(\frac{Q