Transformer由入门到精通（一）：基础知识

0 前言

我之前看transformer的论文《Attention Is All You Need》，根本看不懂，特别是QKV注意力机制那部分。后面在知乎上看到名为“看图学”的博主的一篇回答，按他回答阅读了一些论文，搞明白了 transformer 中的注意力机制的发展演变，才对 transformer 中的注意力机制有了了解，在此向他表示感谢！本文并不是面对零基础的同学，在学习这篇文章之间，需要知道什么是RNN、LSTM、GRU，什么是词嵌入。

1 EncoderDecoder

Transformer最初是用于机器翻译的，它的编码器-解码器结构最初来源于《Learning Phrase Representations using RNN Encoder-Decoder for Statistical Machine Translation》这篇论文。在这篇文章中，Kyunghyun Cho等人提出了基于编码器和解码器的模型（RNN Encoder-Decoder）用于机器翻译，其网络结构如下图所示：

编码器的计算过程为（为了方便理解，我们省略了词嵌入过程，本文的后续内容也省略词嵌入）：
$$\begin{array}{l}\begin{array}{rl}{h}_0& =0\\ h_j& ={\mathrm{RNN}}_{GRU}\left(h_{j-1},x_j\right)\\ c& =\tanh \left(V\cdot h_T\right)\end{array}\end{array}$$
这里 $T$ 是encoder中输入单词的个数，$h_T$ 是最后一个单词输入RNN后获得的输出。

解码器的计算过程：
$$\begin{array}{l}\begin{array}{rl}{s}_0& =\tanh \left(V^{\prime }\cdot c\right)\\ s_t& ={\mathrm{RNN}}_{GRU}\left(s_{t-1},\left[y_{t-1};C\right]\right)\\ P(y_t)& =\mathrm{softmax}\left(\mathrm{MLP}\left(s_t\right)\right)\end{array}\end{array}$$

这里 $V^{\prime }$ 是一个可训练的矩阵，$c$ 是来自encoder的上下文向量（context vector），$s_{t-1}$是decoder中来自上一时步的隐藏层输出，$P(y_t)$是第 $t$ 时步输出单词的分布。

编码器输出第 $t$ 个单词的分布，可以简写为：
$$P(y_t)=g(y_{t-1},s_{t-1},c)$$

2 Bahdanau Attention

在 RNN Encoder-Decoder 中，$P(y_t)=g(y_{t-1},s_{t-1},c)$，无论 $t$ 是0还是100，decoder每次输出时，来自encoder的上下文向量 $c$ 是不变的，但实际上，翻译过程中，输出第 $t$ 个单词时，对原文中所关注的位置是不同的。Bahdanau 在文章《NEURAL MACHINE TRANSLATION BY JOINTLY LEARNING TO ALIGN AND TRANSLATE》中，认为上下文向量 $c$ 应该是动态的，故提出了Bahdanau Attention用以计算上下文向量。

以下是Bahdanau Attention计算 $c_t$ 的过程：
先计算对齐分数，即影响程度，它反应decoder在生成第 $t$ 个位置上的单词时，受encoder位置 $j$ 上的单词的影响:
$$e_{tj}=v^{T}tanh(W_a{s}_{t-1}+U_a{h}_j)$$
这里之所以用 $s_{t-1}$ 是为了将已生成的序列也纳入考虑，之所以不用 $s_t$ ，是因为 $s_t=RNN(s_{t-1},[y_{t-1};c_t])$，$c_t$ 得靠上述过程才能求出来。

我们把encoder上所有位置对decoder生成第 $t$ 个位置时的影响归一化，然后再获得encoder位置 $j$ 上的单词对生成 $t$ 的影响，这里实际上是获得权重：
$${\alpha }_{tj}=\frac{exp(e_{tj})}{{\sum }_{k=1}^{T}exp(e_{tj})}$$
这里 $T$ 是encoder中输入单词的个数。

我们把encoder中获得的隐藏层按照上述权重进行加权，获得上下文向量：
$$c_t={\sum }_{j=1}^T{\alpha }_{tj}{h}_j$$
我们可以认为， $c_t$ 就是 $h_j$ 的线性组合。

3 Luong Attention

Bahdanau Attention在计算对齐分数的时候，$e_{tj}=v^{T}tanh(W_a{s}_{t-1}+U_a{h}_j)$，括号内用的是加法（即加性注意力机制Additive Attention）。Luong认为还可以使用其他方法，并在文章《Effective Approaches to Attention-based Neural Machine Translation》中提出了三种计算方式（为了和前面的内容符号能统一，我这里没有使用论文中的符号）：
$$e\left(t,j\right)=\{\begin{array}{l}{s}_t\cdot h_j\\ s_t{W}_a{h}_j\\ v_a^{\top }\tanh \left(W_a\left[s_t;h_j\right]\right)\end{array}$$

这三种注意力机制分别是点乘（dot）、一般（general）、拼接（concat）。
论文中对计算 $s_t$ 的方式做了优化， $s_t=LSTM(s_{t-1},y_{t-1})$ ，即不再需要 $c_t$。计算得到 $e_{tj}$ 后，就能得到 ${\alpha }_{tj}$ 和 $c_t$，计算方式与前面相同。

随后可以得到单词分布：
$$P(y_t)=\mathrm{softmax}\left(W_{s}tanh\left([c_t;s_t]\right)\right)$$

4 Self Attention/Masked Self Attention

前面介绍的注意力机制，在计算对齐分数的时候，都是拿目标语言的语义信息和源语言的语义信息进行计算，即它们是在两个不同的序列之间进行计算的，这种注意力机制被成为交叉注意力机制（Cross Attention）。除了交叉注意力机制，还有一种被称为“自注意力机制（Self Attention）”或者“内部注意力机制（Intra Attention）”的方式，它是在一个序列的内部进行注意力分数计算，即计算当前词与之前所有词的注意力分数。

Jianpeng Cheng在文章《Long Short-Term Memory-Networks for Machine Reading》中改进了LSTM，提出了一个名为LSTMN的网络结构，该网络在LSTM的基础上增加了注意力机制。

我们先复习一下LSTM的计算过程：
$$\begin{array}{rl}{i}_t& =\sigma \left(W_i\left[h_{t-1},x_t\right]+b_i\right)\\ & \\ f_t& =\sigma \left(W_f\left[h_{t-1},x_t\right]+b_t\right)\\ & \\ v_t& =\sigma \left(W_o\left[h_{t-1},x_t\right]+b_o\right)\\ & \\ \widehat{c_t}& =\tanh \left(W_c\left[h_{t-1},x_t\right]+b_c\right)\\ & \\ c_t& =f_t\odot c_{t-1}+i_t\odot \widehat{c_t}\\ & \\ h_t& =o_t\odot \tanh \left(c_t\right)\end{array}$$

这里 $h_{t-1}$ 是上一时刻的隐藏层， $i_t$ 是更新门， $t_t$ 是遗忘门， $o_t$ 是输出门，$\widehat{c_t}$是短期记忆，$c_t$ 是长期记忆，它综合考虑了上一时刻的长期记忆和当前的短期记忆，如果遗忘门为0，则彻底遗忘上一时刻的记忆，如果更新门是1，则新记忆需要完全被考虑。

改进后的计算过程为：
$$\begin{gathered} e_{tj}=v_a^{\top }\tanh \left(W_a{\tilde{h}}_{t-1}+U_a{h}_j+W_x{x}_t\right) \\ {\alpha }_{tj}=\frac{\exp \left(e_{tj}\right)}{{\sum }_{k=1}^t\exp \left(e_{tk}\right)} \end{gathered}$$
注意求和符号的上标，已经不再是T。
$$\begin{array}{l}\left[\begin{array}{c}{\tilde{h}}_t\\ {\tilde{c}}_t\end{array}\right]={\sum }_{j=1}^{t-1}{\alpha }_{tj}\cdot \left[\begin{array}{l}{h}_j\\ c_j\end{array}\right]\\ \\ \begin{array}{l}{i}_t=\sigma \left(W_i\left[{\tilde{h}}_t,x_t\right]+b_i\right)\\ \\ f_t=\sigma \left(W_f\left[{\tilde{h}}_t,x_t\right]+b_f\right)\\ \\ o_t=\sigma \left(W_o\left[\widetilde{h_t},x_t\right]+b_o\right)\\ \\ {\hat{c}}_t=\tanh \left(W_c\left[{\tilde{h}}_t,x_t\right]+b_c\right)\\ \\ c_t=f_t\odot {\tilde{c}}_t+i_t\odot {\hat{c}}_t\\ \\ h_t=o_t\odot \tanh \left(c_t\right)\end{array}\end{array}$$

我们前后对比一下：

这里把 $h_{t-1}$ 和 $c_{t-1}$ 分别改成了 ${\tilde{h}}_t$ 和 ${\tilde{c}}_t$，而${\tilde{h}}_t$ 和 ${\tilde{c}}_t$ 则是通过对前面 $h_j$ 和 $c_j$ 加权得到：
$$\left[\begin{array}{c}{\tilde{h}}_t\\ {\tilde{c}}_t\end{array}\right]=\sum _{j=1}^{t-1}{\alpha }_{tj}\cdot \left[\begin{array}{l}{h}_j\\ c_j\end{array}\right]$$
而计算权重的时候，也是对已经输入的位置计算：
$${\alpha }_{tj}=\frac{\exp \left(e_{tj}\right)}{{\sum }_{k=1}^t\exp \left(e_{tk}\right)}$$
也就是说，这种注意力机制只关注前面的词，故被称为Masked Self Attention。

5 MultiHead Self Attention

我们先来介绍一下句子嵌入（sentence embedding）：把一段可变长度的文本，用一个固定长度的向量来表示。论文《A structured self-attentive sentence embedding》则提出了一种方法，把文本用固定维度的矩阵来表示，这篇文章更重要的是，提出了多头注意力机制。

假设一条句子有n个单词，经过词嵌入后，可以表示成：
$$s=(w_1,w_2,...,w_n)$$
这里 $w_i$ 是词嵌入向量。

将序列 $s$ 输入一个双向LSTM网络：
$$\begin{array}{l}\overrightarrow{h_t}=\overrightarrow{LSTM}\left(w_t,\overrightarrow{h_{t-1}}\right)\\ \overleftarrow{h_t}=\overleftarrow{LSTM}\left(w_t,\overleftarrow{h_{t+1}}\right)\end{array}$$
这里 $\overrightarrow{h_t}$ 和 $\overleftarrow{h_t}$ 都是维度为u的向量，令：
$$h_t=\left[\overrightarrow{h_t},\overleftarrow{h_t}\right]$$
则 $h_t$ 是维度为2u的向量。

令：
$$H=\left[\begin{array}{c}{h}_1\\ h_2\\ ...\\ h_n\end{array}\right]$$
则 H 的维度为(n, 2u)。

按下式计算$h_1$、$h_2$、……、$h_n$的权重：
$$a=\mathrm{softmax}\left(w_{s2}\tanh \left(W_{s1}{H}^T\right)\right)$$
这里 $W_{s1}$的维度为(da, 2u)，$H^T$的维度为(2u, n)，$w_{s2}$ 的维度为(1, da)，那么 a 的维度为(1, n)。

上面的公式相当于将下面两步合并了：
$$e=w_{s2}\tanh \left(w_{s2}\tanh (W_{s1}{H}^T)\right)$$
$$a_i=\frac{\exp \left(e_i\right)}{{\sum }_{k=1}^n\exp \left(e_k\right)}$$
这里 $e$ 不再是一个标量，而是一个向量。
$$m=aH$$
m的维度为(1, 2u)，它相当于将 $h_1$、$h_2$、……、$h_n$ 进行线性组合，其中 $h_i$ 的权重为 $a_i$，m 就是我们前面说的上下文向量 $c_t$。
m是一个向量，它的长度与输入序列的单词个数无关，只与LSTM输出的隐藏层维度有关，因此，它实现了句子嵌入。

现在我们用 $W_{s2}$ 替代 $w_{s2}$，$W_{s2}$ 是一个维度为(r, da)的矩阵，即相当于将上述求 a 的过程重复 r 次，那么有：
$$A=\mathrm{softmax}\left(W_{s2}\tanh \left(W_{s1}{H}^T\right)\right)$$
这里 A 的维度为(r, n)，
$$M=AH$$
M 的维度为 (r, 2u)，此时我们实现了将一个句子变成了一个矩阵，它的维度与输入的单词个数无关。

一个 m 只能反应句子语义中的一个方面或者组成部分，为了表示句子的整体语义，可以使用多个 m 来表示句子的不同方面，这就是所谓的多头注意力机制，有点类似于CNN里的多通道，每个通道处理不同的信息。

这里是 r 个头，将 r 个 m 拼接成 M，相当于对 $h_1$、$h_2$、……、$h_n$ 做了 r 次线性组合，然后将这 r 次的结果合并成一个矩阵。

6 Key-Value Attention

Michał Daniluk等人在《FRUSTRATINGLY SHORT ATTENTION SPANS IN NEURAL LANGUAGE MODELING》中认为，在带有注意力机制的语言生成模型中，RNN或者LTSM每一个时步输出一个 h（有的文献中是 s，例如Bahdanua Attention），在我们前面介绍的注意力机制中，这个 h 既要作为键（key）从历史记忆中获取上下文向量（作者是把对过去隐藏层向量进行加权得到上下文向量的过程，看成是使用 Key-Value 的方式从过去的记忆中进行查询的过程），又要用于预测下一个单词（token），还要传输给下一个时步（当前时步的 $h$ 就是下一时步的 $h_{t-1}$）。这种对 h 的过度使用使得模型训练变得困难，作者随即提出，可以把 h 分成多份，仅让一部分去计算注意力分数，一部分计算上下文向量，另一部分专注于预测下一个单词，这就是Key-Value Attention的思想。我们看下面介绍能更清楚的理解。

假设语言模型是基于LSTM，LSTM在 $t$ 时刻的输出为 ${\mathbf{h}}_t\in {\mathbb{R}}^k$ ，这是影藏层向量，还不能直接用于预测单词分布。此时有个长度为 L 的滑动窗口，它把前面 L 步的隐藏层向量给圈了出来，得到一个矩阵 ${\mathbf{Y}}_{\mathbf{t}}=({\mathbf{h}}_{t-L},{\mathbf{h}}_{t-L+1},...,{\mathbf{h}}_{t-1})\in {\mathbb{R}}^{k\times L}$，那么可以使用注意力的方式，在 $t$ 时刻预测下一个单词的概率分布（即输入第 t 个单词，然后预测第 t+1 个单词，语言模型就是这样的）：
$$\begin{array}{rlrl}{\mathbf{M}}_t& =\tanh \left({\mathbf{W}}^Y{\mathbf{Y}}_t+\left({\mathbf{W}}^h{\mathbf{h}}_t\right)1^T\right)& & \in {\mathbb{R}}^{k\times L}\\ {\mathbf{\alpha }}_t& =\mathrm{softmax}\left({\mathbf{w}}^T{\mathbf{M}}_t\right)& & \in {\mathbb{R}}^{1\times L}\\ {\mathbf{r}}_t& ={\mathbf{Y}}_t{\mathbf{\alpha }}^T& & \in {\mathbb{R}}^k\\ {\mathbf{h}}_t^{\ast }& =tanh({\mathbf{W}}^r{\mathbf{r}}_t+{\mathbf{W}}^x{\mathbf{h}}_t)& & \in {\mathbb{R}}^k\\ {\mathbf{y}}_t& =\mathrm{softmax}\left({\mathbf{W}}^{\ast }{\mathbf{h}}_t^{\ast }+\mathbf{b}\right)& & \in {\mathbb{R}}^{|V|}\end{array}$$
其中 $W^Y,W^h,W^r,W^x\in {\mathbb{R}}^{k\times k}$，$w\in {\mathbb{R}}^k$，$W^{\ast }\in {\mathbb{R}}^{|V|\times k}$，$b\in {\mathbb{R}}^{|V|}$ ，这些都是可训练参数，而$1\in {\mathbb{R}}^L$，是全为1的向量。上述过程示意图：

可以看到，这里 ${\mathbf{h}}_t$ 在 ${\mathbf{h}}_t^{\ast }=tanh({\mathbf{W}}^r{\mathbf{r}}_t+{\mathbf{W}}^x{\mathbf{h}}_t)$ 中，既要用于计算上下文向量 ${\mathbf{r}}_t$，又要用于计算 ${\mathbf{h}}_t^{\ast }$，以便预测下一个单词。

Michał Daniluk等人的工作，就是对这些功能解耦。所谓解耦，就是让不同的功能有各自独立的可训练参数，CV中有个名为YOLOX的模型，它们的检测头设计，也有解耦的思想在里面，让分类、位置和置信度得分在不同的路径中预测，思想和这个类似。

他们先把 h 分成了两份，一份称为 key 用来计算注意力权重，另一份称为 value，用来计算上下文向量和下一个单词的分布，上述注意力机制改进如下：
$$\begin{array}{rlrl}\left[\begin{array}{c}{\mathbf{k}}_t\\ {\mathbf{v}}_t\end{array}\right]& ={\mathbf{h}}_t& & \in {\mathbb{R}}^{2k}\\ {\mathbf{M}}_t& =\tanh \left({\mathbf{W}}^Y\left[{\mathbf{k}}_{t-L}\cdots {\mathbf{k}}_{t-1}\right]+\left({\mathbf{W}}^h{\mathbf{k}}_t\right)1^T\right)& & \in {\mathbb{R}}^{k\times L}\\ {\mathbf{\alpha }}_t& =\mathrm{softmax}\left({\mathbf{w}}^T{\mathbf{M}}_t\right)& & \in {\mathbb{R}}^{1\times L}\\ {\mathbf{r}}_t& =\left[{\mathbf{v}}_{t-L}\cdots {\mathbf{v}}_{t-1}\right]{\mathbf{\alpha }}^T& & \in {\mathbb{R}}^k\\ {\mathbf{h}}_t^{\ast }& =\tanh \left({\mathbf{W}}^r{\mathbf{r}}_t+{\mathbf{W}}^x{\mathbf{v}}_t\right)& & \in {\mathbb{R}}^k\end{array}$$
结构如下图：

key 和 value 分离后，对于 $v_i$，既要在第 $i$ 个时步用于计算下一个单词的分布，即 $h_i^{\ast }=\tanh (W^r{r}_i+W^x{v}_i)$

又要在后续的 $L$ 个时步中，用于计算上下文向量 ${\mathbf{r}}_k$，即 $r_k=[v_{k-L}\cdots v_{k-1}]{\alpha }^T$，$k\in [i+1,i+L]$

因此可以把 value 的两个功能进一步解耦，从其中分出一部分（命名为 predict ）专门用来预测下一个单词的分布，最后的注意力机制计算过程如下：
$$\begin{array}{rlrl}\left[\begin{array}{c}{\mathbf{k}}_t\\ {\mathbf{v}}_t\\ {\mathbf{p}}_t\end{array}\right]& ={\mathbf{h}}_t& & \in {\mathbb{R}}^{2k}\\ {\mathbf{M}}_t& =\tanh \left({\mathbf{W}}^Y\left[{\mathbf{k}}_{t-L}\cdots {\mathbf{k}}_{t-1}\right]+\left({\mathbf{W}}^h{\mathbf{k}}_t\right)1^T\right)& & \in {\mathbb{R}}^{k\times L}\\ {\mathbf{\alpha }}_t& =\mathrm{softmax}\left({\mathbf{w}}^T{\mathbf{M}}_t\right)& & \in {\mathbb{R}}^{1\times L}\\ {\mathbf{r}}_t& =\left[{\mathbf{v}}_{t-L}\cdots {\mathbf{v}}_{t-1}\right]{\mathbf{\alpha }}^T& & \in {\mathbb{R}}^k\\ {\mathbf{h}}_t^{\ast }& =\tanh \left({\mathbf{W}}^r{\mathbf{r}}_t+{\mathbf{W}}^x{\mathbf{p}}_t\right)& & \in {\mathbb{R}}^k\end{array}$$
结构图如下：

后面的 transformer 中的 QKV 注意力机制，其原型是来自于Key-Value注意力机制，并没有使用P，而是加了一个Query，这个我们会在下篇文章中介绍。

7 ResNet

这个熟悉CV的同学都知道，来源于何凯明的神作《Deep Residual Learning for Image Recognition》。ResNet中的残差块示意图如下：

在它出现之前，CNN的网络层数不能太深，太深的话，靠近输出的层会出现梯度消失，导致参数更新困难，有了ResNet之后，因为短连接的存在，很好地解决了这个问题，使模型可以设计的更深。

8 总结

本文主要介绍的是 Transformer 的一些先修知识，通过这些知识，可以更好的理解 transformer 的结构和原理。本文读完之后，需要知道EncoderDecoder和Bahdanau Attention，什么是加性注意力机制，什么是点乘注意力机制，什么自注意力机制，什么是交叉注意力机制，什么是Mask自注意力机制，什么是多头注意力机制，什么是KV注意力机制。

https://zhuanlan.zhihu.com/p/690984212
Learning Phrase Representations using RNN Encoder-Decoder for Statistical Machine Translation
NEURAL MACHINE TRANSLATION BY JOINTLY LEARNING TO ALIGN AND TRANSLATE
Effective Approaches to Attention-based Neural Machine Translation
Long Short-Term Memory-Networks for Machine Reading
A structured self-attentive sentence embedding
FRUSTRATINGLY SHORT ATTENTION SPANS IN NEURAL LANGUAGE MODELING
Deep Residual Learning for Image Recognition