深入理解Transformer的笔记记录（精简版本）NNLM → Word2Vec

文章的整体介绍顺序为：

NNLM → Word2Vec → Seq2Seq → Seq2Seq with Attention → Transformer → Elmo → GPT → BERT

自然语言处理相关任务中要将自然语言交给机器学习中的算法来处理，通常需要将语言数学化，因为计算机机器只认数学符号。向量是人把自然界的东西抽象出来交给机器处理的数学性质的东西，基本上可以说向量是人对机器输入的主要方式了。词向量是对词语的向量表示，这些向量能捕获词语的语义信息，如相似意义的单词具有类似的向量。

假定我们有一系列样本(x,y)，其中的 x 是词语，y 是它们的词性，我们要构建f(x) to y的映射：

    首先，这个数学模型 f（比如神经网络、SVM）只接受数值型输入；
    而 NLP 里的词语是人类语言的抽象总结，是符号形式的（比如中文、英文、拉丁文等等）；
    如此一来࿰