动手学Transformer

自注意力

• ${\mathbf{x}}_i$ 自身作为key value query，求自己的注意力，对序列抽取特征
• 输入和输出维度相同

计算复杂度 $O(n^{2}d)$ 并行度$O(n)$ 最长路径$O(1)$

自注意力没有记录位置信息，引入位置编码矩阵 P ∈ R n × d \mathbf{P}\in\mathbb{R}^{n\times d} P∈R