十一、注意力机制（Attention Mechanism）

注意力机制是一种模仿人类视觉和认知系统的方法，允许神经网络在处理输入数据时集中注意力于相关的部分。核心目标也是从众多信息中选出对当前任务目标更加关键的信息。

通过引入注意力机制，神经网络能够自动地学习并选择性地关注输入中的重要信息，提高模型的性能和泛化能力。注意力机制最主要包括自注意力机制和多头自注意力机制。不同的注意力机制模型对输入序列的不同位置分配不同的权重，以便在处理每个序列元素时专注于最相关的部分。参考注意力机制综述

1 自注意力机制（Self-Attention Mechanism）

自注意力机制的基本思想是，在处理序列数据时，每个元素都可以与序列中的其他元素建立关联，而不仅仅是依赖于相邻位置的元素。它通过计算元素之间的相对重要性来自适应地捕捉元素之间的长程依赖关系。

具体而言，对于序列中的每个元素，自注意力机制计算每一个元素与其他元素之间的相似度，并将这些相似度归一化为注意力权重。然后，通过将每个元素与对应的注意力权重进行加权求和，可以得到自注意力机制的输出。参考多头自注意力机制介绍

在自注意力机制中，输入序列首先通过线性变换得到查询（Query）、键（Key）和值（Value）向量。然后，通过计算查询向量 Q 与键向量 K 之间的相似度得到注意力 Attention 权重，再将注意力权重与值（输入特征）向量 V 相乘并求和，得到最终的输出表示。

自注意力机制计算过程原理图如下所示：