weixin_49659123的博客

Positional Encoding/Embedding，有时将直接计算得到的叫Positional Encoding，将学习得到的叫Positional Embedding，本文不做区分，只需要知道PE代表位置编码即可。众所周知，在NLP中位置信息是很有用的，因为在自然语言中，同样的一组词语组合以不同的位置组合，所传递出来的信息可能是完全不同的。此篇详细介绍NLP发展过程中衍生出来的位置编码

1. 根据不同的切分粒度可以把tokenizer分为: 基于词的切分，基于字的切分和基于subword的切分。 基于subword的切分是目前的主流切分方式。2. subword的切分包括: BPE(/BBPE), WordPiece 和 Unigram三种分词模型。3. 完整的分词流程包括：文本归一化，预切分，基于分词模型的切分，后处理。

本文深入一下Self-Attention（自注意力机制）以及 Multi-head Attention（多头注意力机制）的原理以及计算过程，主要的参考资料是台大李宏毅教授的授课内容，同时增加了一些从其他文章那里参考的细节，以及一些些个人的理解和心得。