论文阅读笔记——Generating Long Sequences with Sparse Transformers

Sparse Transformer 论文
解决了 Transformer 在长序列建模时的计算开销和内存过大的问题。
可视化了一个 128 层自注意力在 CIFAR-10 的数据集上学习到的注意力模式，发现：1）稀疏性普遍存在：大多数层在多数数据点上表现出稀疏注意力；2）例外：部分层想要捕捉全局依赖关系。Transformer 的注意力机制呈现了和卷积模型类似的归纳偏置，即浅层的网络倾向于提取纹理信息，深层的网络倾向于提取语义信息。

分解自注意力(Factorized self-attention)

Local 自注意力只关注自身相邻的，其余设为 0，类似于卷积；Atrous 自注意力是跳着计算，类似膨胀卷积；一种简单思路是交替使用 Local 自注意力和 Atrous 自注意力。但 OpenAI 并没有这么做，而是将二者合为一。

由于 Transformer 的最复杂的计算是 $Q{K}^T$，稀疏注意力是让设置好的像素点参与注意力的计算。由此，引入了连接模式的变量 S = { S 1 , … … , S n } S=\{S_1,……,S_n\} S={ S1​,……,Sn​}。其中 $S_i$ 是在预测第 i 个时间片的索引，是一个由 0 和 1 组成的二维矩阵。
Attend ⁡ ( X , S ) = ( a ( x i , S i ) ) i ∈ { 1 , … , n } ( 2 ) a ( x i , S i ) = softmax ⁡ ( ( W q x i ) K S i T d ) V S i ( 3 ) K S i = ( W k x j ) j ∈ S i V S i = ( W v x j ) j ∈ S i ( 4 ) \begin{aligned} \operatorname{Attend}(X, S) = \left(a(\mathbf{x}_i, S_i)\right)_{i \in \{1, \ldots, n\}} \quad (2) \\a(\mathbf{x}_i, S_i) = \operatorname{softmax}\left(\frac{(W_q \mathbf{x}_i) K_{S_i}^T}{\sqrt{d}}\right) V_{S_i} \quad (3) \\K_{S_i} = \left(W_k \mathbf{x}_j\right)_{j \in S_i} \quad V_{S_i} = \left(W_v \mathbf{x}_j\right)_{j \in S_i} \quad (4) \end{aligned} Attend(X,S)=(a(xi​,Si​))i∈{ 1,…,n}​(2)a(xi​,Si​)=softmax(d ​(Wq​xi​)KSi​T​​)VS