haiyang12138的博客

Transformer学习笔记 encoder-decoder结构 encoder是由self-attention和feed forward neural network组成 decoder结构由self-attention、Encoder-Decnoder Attention和feed forward组成 1、Self-Attention：当前翻译和已经翻译的前文之间的关系； 2、Encoder-Decnoder Attention：当前翻译和编码的特征向量之间的关系 在最底层的block中， [公式]