NLP之一文搞懂word2vec、Elmo、Bert演变

导读

自然语言处理本质是解决文本相关的问题，我们可以把它的任务分为大致两部分：预训练产生词向量以及对词向量进行操作（下游NLP具体任务）。在自然语言处理中有词向量模型word2vec、Elmo以及Bert等，也有RNN，LSTM等下游encoding模型，初学者很容易搞混，下面就分别介绍这几个模型之间的区别和联系，以及NLP技术的发展之路。

word2vec

1.原理

word2vec是一种编码方式，于2013年由google实验室提出，它的特点是将所有词表示成低位稠密向量，它解决了one-hot词袋编码的三个弊端：

1. 编码过于稀疏，向量大小即词典大小
2. 无法体现词在上下文中的关系
3. 无法体现两个词之间的关系

word2vec原理是把一个词典大小的向量用几百维的向量进行编码，每一维都有其特定的含义，并且可以计算两两之间的相似度，得到king-man+woman=queen这种结果

2.训练方式

word2vec有两种训练方式：CBOW（Continuous Bag-of-Words）和Skip-gram，二者的区别在于：

1. 若拿一个词语的上下文作为输入，来预测这个词语本身，那么该模型叫CBOW模型；
2. 如果是用一个词语作为输入，来预测它周围的上下文，那么该模型叫做Skip-gram模型；
   二者的示意图分别如下：
   
   

3.算法流程

不论是CBOW还是skip-gram输入和输出都是类似的，流程如下：

1. 输入一个单词，用one-hot表示，维度为：$1\times V$，其中1表示一个输入单词，V表示词袋or词典大小。
2. 随机初始化一个矩阵W，维度为$V\times E$，其中V为词袋大小，E为人为设定的Embedding大小，通常为300-500维不等。用该one-hot表示乘以一个共享的输入权重矩阵W，（最终我们要拿到的就是这个权重矩阵W）得到中间结果：$1\times E$；
3. 再随机初始化一个矩阵$W^{\prime }$，维度为$E\times V$，得到输出$1\times V$，即又回到了one-hot的表示形式
4. 把上面的结果过一个softmax，使词典的每一个位置输出均为一个概率，且和为1。
5. 用真实值标签和输出做交叉熵，反向传播即可。

4.反向传播

在反向传播的时候由于softmax计算量巨大，故提出两种可以大大降低计算量的方法：Hierarchical Softmax和Negtive Sampling。

Hierarchical Softmax

Hierarchical Softmax算法是按词频构建霍夫曼树，huffman树的特点是，高频词更靠近树根，因而找到它需要的时间（或着说，计算比较次数）更少。它将求解的计算量由$O(V)$（V为词表大小）降到$O(lo{g}_{}$