lecture4 自注意力机制（self-attention）

一、self-attention

流程

1. self-attention会传入以这个序列的信息

2. 输入几个vector就会输出几个vector （输出的vector是考虑一整个序列才得到的 ）

3. 再把输出的向量 输入给full connected network

这样一来得到的结果就不是只考虑了一个小范围而是全局

• self-attention（处理一整个sequence）和fc（处理某个位置）可以交替使用

运作

1. 特点

• $b^j$是考虑了所有的 $a^i$ 才得出来的

• 输入可以是 整个网络的输入 也可以是 一个隐藏层的输出

  

例：如何产生 $b^1$ 这个向量

2. 步骤

• 根据 $a^1$找出这个sequence里面和$a^1$相关的其它向量, $\alpha$是关联程度
  
• （1）计算 $\alpha$
  Dot-product(最常用)：将输入的两个向量分别乘以一个矩阵，再将结果点积
  
• 例：a1和a2的关联性计算
  query：$q^1=w^q{a}^1$
  key：$k^2=w^k{a}^2$
  attention score：${\alpha }_{1,2}=q^1\cdot k^2$
  a1和其它向量的关联性计算类似
  
  实操的时候会算上a1和a1的关联性
• （2） normalization：比如soft-max
  
• （3）根据attention score 求 $b^i$
  $v^i=W^v{a}^i$
  $b^1={\sum }_i{\alpha }_{1,i}^{{}^{\prime }}{v}^i$
  

3. 从矩阵的角度

1. $q,k,v$ 的计算
   

2. attention score 的计算
   

3. $b$ 的计算
   

从 I-O 的过程
只有 $w^q,w^k,w^v$ 是通过训练集得出来的

二、Multi-head Self-attention

$q$ 是用来找相关的$k$，但是相关有很多种形式，可以有不同的 $q$ 负责不同的相关性

1. 例：两个Head计算

• $q^i=w^q{a}^i$
• $q^i$再乘以两个不同的矩阵得到 $q^{i,1}$和 $q^{i,2}$
• 对 $k,v$ 同理
  

2. attention score计算
   1类一起计算，2类一起计算，得到$b^{i,1},b^{i,2}$
   
3. $b$ 计算
   

三、Positional Encoding（位置编码）

问题：实际上$a^1$和$a^4$的距离并不远，在self-attention中并没有下标信息

解决：给每个位置一个unique位置向量 $e^i$

Positional Encoding是个尚待研究的问题

四、与其它神经网络对比

Self-attention v.s.CNN

• CNN是简化版的Self-attention/CNN是Self-attention的一个特例
• CNN考虑的是respective field
• Self-attention考虑的是整张图片

Self-attention v.s. RNN

RNN不能平行处理，对于最左边的输入需要一直记住才能被最后的输入被考虑

Self-attention并行处理，效率高

Self-attention for Graph

只计算相连Node之间的attention score