encoder-decoder

transformer的encoder-decoder

如果考虑一个由 2 个堆叠编码器和解码器组成的 Transformer，看起来会是这样的：
文章写的非常好：http://jalammar.github.io/illustrated-transformer/
其中解码器中的自关注层的运行方式与编码器中的运行方式略有不同：
在解码器中，自注意力层只允许关注输出序列中较早的位置。-inf这是通过在自注意力计算中的 softmax 步骤之前屏蔽未来位置（将它们设置为 ）来完成的。
“编码器-解码器注意力”层的工作方式与多头自注意力类似，只不过它从其下面的层创建查询矩阵，并从编码器堆栈的输出中获取键和值矩阵。

encoder-only

decoder-only