Transformer逐层分解

什么是Transformer？

Transformer架构擅长处理文本数据，这些数据本身是有顺序的。他们将一个文本序列作为输入，并产生另一个文本序列作为输出。例如，讲一个输入的英语句子翻译成西班牙语。

Transformer的核心部分，包含一个编码器层和解码器层的堆栈。

为了避免混淆，我们把单个层称为编码器或解码器，并使用编码器堆栈或解码器堆栈分别表示一组编码器与一组解码器。

在编码器堆栈和解码器堆栈之前，都有对应的嵌入层。而在解码器堆栈后，有一个输出层来生成最终的输出。

编码器堆栈中的每个编码器的结构相同。解码器堆栈也是如此。其各自结构如下：

1. 编码器：一般有两个子层：包含自注意力层self-attention，用于计算序列中不同词之间的关系；同时包含一个前馈层feed-forward。
2. 解码器：一般有三个子层：包含自注意力层self-attention，前馈层feed-forward，编码器-解码器注意力层Decoder-Encoder self attention。
3. 每个编码器和解码器都有独