注意力机制的两种常用形式-----加性注意力（Additive Attention）和点积注意力（Dot-product Attention）

注意力机制的两种常用形式

注意力机制是现代自然语言处理模型（如Transformer）的核心组件。最常用的两种注意力机制是加性注意力（Additive Attention）和点积注意力（Dot-product Attention）。下面详细解释并举例说明这两种注意力机制的工作原理和区别。

1. 加性注意力（Additive Attention）

加性注意力通过一个前馈神经网络（feed-forward network）计算查询（query）和键（key）之间的相似度，具体步骤如下：

1. 输入：查询$Q$和键$K$。

2. 计算相似度：通过一个前馈神经网络计算相似度：
   $$e_{ij}={\text{v}}^{\top }\tanh ({\text{W}}_q{Q}_i+{\text{W}}_k{K}_j)$$
   其中，${\text{W}}_q$和${\text{W}}_k$是可学习的权重矩阵，$\text{v}$是一个可学习的向量。

3. 计算注意力权重：将相似度通过softmax函数进行归一化：
   $${\alpha }_{ij}=\frac{\exp (e_{ij})}{{\sum }_k\exp (e_{ik})}$$

4. 加权求和：利用注意力权重对值（value）$V$进行加权求和，得到输出：
   $$\text{Attention}(Q,K,V)=\sum _j{\alpha }_{ij}{V}_j$$

2. 点积注意力（Dot-product Attention）

点积注意力通过计算查询$Q$和键$K$的点积来衡量相似度，并加上一个缩放因子，具体步骤如下：

1. 输入：查询$Q$和键$K$。

2. 计算相似度：通过计算点积并除以缩放因子$\sqrt{d_k}$：
   $$e_{ij}=\frac{Q_i\cdot K_j^{\top }}{\sqrt{d_k}}$$
   其中，$d_k$是键的维度。

3. 计算注意力权重：将相似度通过softmax函数进行归一化：
   α i j = exp ⁡ ( e