Self-attention从Attention的演变过程

Self-attention从Attention的演变过程

---

• Self-attention就本质上是一种特殊的attention。这种应用在transformer中最重要的结构之一。
• 上面我们介绍了attention机制，它能够帮我们找到子序列和全局的attention的关系，也就是找到权重值 $w_i$, self-attention对于attention的变化，其实就是寻找权重值$w_i$的过程不同。下面，我们来看看self-attention的运算过程。

• 为了能够产生输出的向量$y_i$ ，self-attention其实是对所有的输入做了一个加权平均的操作，这个公式和上面的attention是一致的。

---

$j$代表整个序列的长度，并且 $j$个权重的相加之和等于1。值得一提的是，这里的 $w_{ij}$ 并不是一个需要神经网络学习的参数，它是来源于 $x_i$和 $x_j$ 的之间的计算的结果（这里$w_{ij}$的计算发生了变化）。它们之间最简单的一种计算方式，就是使用点积的方式。

---

$x_i$ 和 $y_i$是一对输入和输出。对于下一个输出的向量 $y_{i+1}$ ，我们有一个全新的输入序列和一个不同的权重值。

---

• 这个点积的输出的取值范围在负无穷和正无穷之间，所以我们要使用一个softmax把它映射到 [0, 1] 之间，并且要确保它们对于整个序列而言的和为1。

• 以上这些就是self-attention最基本的操作.