self-attention和rnn计算复杂度的对比

Attention is all you need论文中的实验分析部分罗列了self-attention和rnn的复杂度对比，特此记录一下自己对二者复杂度的分析。

注意：n表示序列长度，d表示向量维度。
1、self-attention的复杂度为$O(n^2\cdot d)$，其来源自self-attention计算公式：
$$Attention(Q,K,V)=Softmax(\frac{Q{K}^T}{\sqrt{d_k}})V$$
其中，$Q、K、V\in {\mathbb{R}}^{n\times d}$，
$Q{K}^T$是两个矩阵的乘法$[n,d]\times [d,n]=[n,n]$，计算复杂度为$n^2\cdot d$；
其结果再乘$V$，即$[n,n]\times [n,d]=[n,d]$，计算复杂度也为$n^2\cdot d$；

2、RNN的复杂度为$O(n\cdot d^2)$，其来源自计算公式：
$$h_t=f(W_{xh}{x}_t+b_{xh}+W_{hh}{h}_{t-1}+b_{hh})$$ $$y_t=g(W_{hy}{h}_t+b_{ht})$$
$W_{xh}\in {\mathbb{R}}^{emb\times d}$，$W_{hh}\in {\mathbb{R}}^{d\times d}$，
从$W_{hh}{h}_{t-1}$来看，虽然$W_{hh}$在前边，但是做矩阵乘法的时候是 $h_{t-1}\times W_{hh}^T$，即$[1,d]\times [d,d]=[1,d]$，计算复杂度为$d\cdot d$；
以上是一个输入的计算复杂度，n个输入的计算复杂度为$n\cdot d^2$。