Distributed Representations of Words and Phrases and their Compositionality 论文简解

摘要

该文章的主要研究工作是在Skip-gram模型的基础上提出了几种模型的改进方法，可以提升原始Skip-gram模型的训练速度和预测精度。具体为：

• Subsampling （降低高频和低频无用词汇对预测结果影响，并加快训练速度）；
• Hierarchical softmax（降低训练的时间复杂度）；
• Negative sampling（一种简化版的 Hierarchical softmax）。
• simple method for finding phrases（处理合成词的训练问题）。

1.介绍

向量空间中单词的分布式表示可帮助学习算法更好地实现，通过将相似的单词进行分组来提高自然语言处理任务的性能。词向量的使用最早可以追溯到1986年。
Mikolov 等人提出的Skip-gram模型是一种高效高质量词向量的实现方法。不同于在此之前提出的词向量实现方法需要涉及密集矩阵乘法（主成分分析等方法）。该模型在单机上的训练也是非常高效的：一天时间可以处理超过1000亿个词汇。
此外，通过线性神经网络训练出的词向量表现出了许多有趣的线性转换特征。比如Madrid（马德里）的词向量减去Spain（西班牙）的词向量再加上France（法国）的词向量所得的结果接近Paris（巴黎）的词向量。这一特性说明Skip-gram模型学习到了词汇之间潜在的线性特征。

2. Skip-gram 模型

Skip-gram的训练目标是寻找词汇一种词向量，通过该词向量可以预测出词汇在句子中（或者文本中）的相邻词汇，所以Skip-gram模型的训练可以看成是最大化平均对数似然函数：