transformer 总结(超详细-初版)

相关知识链接

• attention1
• attention2

引言

• 本文主要详解 transformer 的算法结构以及理论解释，代码实现以及具体实现时候的细节放在下一篇来详述。
  
• 下面就通过上图中 transformer 的结构来依次解析

输入部分(Encode 侧)

• input 输出主要包含 两个部分：embedding 的输入数据， 数据位置的 embedding
  
  • 关于输入数据的 embedding 有很多种方式，比如word2vec，GloVe，FastText 等(注意embedding 和热编码,向量化不一回事)
  • 关于位置的 embedding，因为 transformer使用的全局信息而不是单纯的利用单词的之间的顺序信息，所以位置信息十分重要，transformer 使用位置 embedding 来保存单词在序列中的相对或者绝对位置
    • 位置 embedding 用 PE 表示，PE 可以通过训练得到(比如 bert 的位置信息)，也可以使用自定义公式得到，transformer 使用的是公式
      $$P{E}_{(}pos,2i)=Sin(pos/100000^{(}2i/d))$$
      $$P{E}_{(}pos,2i+1)=$$