【论文阅读笔记】《Attention is All You Need》——Attention机制和Transformer

Self-Attention

原理

• 计算两个向量之间的相关性α

$$输入的向量分别乘矩阵W^q和W^k得到q(query)和k(key)$$

$$相似度\alpha =q\cdot k$$

• Self-attention

$$得到相似度\alpha ，也就是权重，和每个向量的value相乘再求和得到b^1$$

$$所谓self，是a^1自己也会与自己求一个权重{\alpha }_{1,1}^{{}^{\prime }}$$

$$其他向量也是如此，最终得到一组新的序列b^1,b^2,b^3,b^4$$

$$所以self-attention相比于RNN有一个好处：它是并行的，b^1,b^2,b^3,b^4同时计算出来$$

• 从矩阵乘法的角度

1. 计算q,k,v
   

$$每一个a都要分别产生$$