Transfermer中的Attention计算过程详解

• Attention Is All You Need
  
  论文地址：点击查看
  论文pdf下载：下载pdf

• Attention计算过程详解

  1、为编码器创建三个向量 Query , Key , Value

  过程如下：
  1）input的单词Thinking、Machines向量化之后变成向量$x_1$、$x_2$（这里假设为4维）
  2）$x_1$、$x_2$分别乘以3个权重矩阵$W^Q$、$W^K$、$W^V$ （这里维度均为4*3）

  $x_1\ast W^Q=q_1$ ($q_1$维度为3）
  $x_2\ast W^Q=q_2$ ($q_2$维度为3）

  $x_1\ast W^K=k_1$ ($k_1$维度为3）
  $x_2\ast W^K=k_2$ ($k_2$维度为3）

  $x_1\ast W^V=v_1$ ($v_1$维度为3）
  $x_2\ast W^V=v_2$ ($v_2$维度为3）

  $q_1、q_2$即为单词Thinking、Machines的向量 Query，
  $k_1、k_2$即为单词Thinking、Machines的向量 Key，
  $v_1、v_2$即为单词Thinking、Machines的向量 Value，

  详细过程如下图：
  

  2、计算每个词的attention值及输出向量

  以计算 “Thinking” 的 attention为例，根据这个单词对输入句子的每个单词进行评分，这个分数决定了对其他单词放置多少关注度。

  计算步骤：
  1）$q_1$乘以每个位置的 $k_i$，这里得到$scor{e}_1,scor{e}_2$ 。
  2）将$scor{e}_1,scor{e}_2$都除以8 （因为论文中使用的 key 向量的维数是 64，8 是它的平方根，这样可以有更稳定的梯度），再输入到softmax得到概率，即为 “Thinking”对每个词的Attention值。
  3）将Attention值乘以每个$v_i$，再加权求和，就得到 “Thinking” 的输出向量$z_1$。
  4）重复上述过程即可计算出每个词的$z_i$。

  详细过程如图：