Attention Mechanism

Attention Mechanism

Attention definition：

Attention用于计算"相似程度"，通常描述如下：将$query(Q)$和$key-valuepairs$映射到输出上，输出是$V$中所有values的加权，其中权重是由$Query$和每个$Key$计算出来的。

• 计算Q和K的相似度
  $S_i=f(Q,K_i)$
• 将相似度softmax
  ${\alpha }_i=\frac{e^{S_i}}{{\sum }_{i=1}^m{e}^{S_i}}$
• 对V中所有的values进行加权求和计算，得到Attention向量
  ${\sum }_{i=1}^m{\alpha }_i{V}_i$

---

计算相似度方法（score function）：

• 点乘（dot product）：$f(Q,K_i)=Q^T{K}_i$
• 权重（General）：$f(Q,K_i)=Q^{T}W{K}_i$
• 拼接权重（Concat）：$f(Q,K_i)=W[Q^T;K_i]$
• 感知器（Perceptron）：$f(Q,K_i)=V^{T}tanh(WQ+U{K}_i)$

---

计算相似度方法：
$f(Q,K_i)=Q^T{K}_i$
$f(Q,K_i)=Q^{T}W{K}_i$
$f(Q,K_i)=W[Q^T;K_i]$
$f(Q,K_i)=V^{T}tanh(WQ+U{K}_i)$

---