自然语言处理实战——词向量推理（word2vec）

---

前言

还是以回答几个问题的形式介绍词向量

---

一、为什么介绍词向量推理（W2V）？

词向量推理（W2V）的优势是什么？
似乎回答了这个问题就能解释词向量出现的意义和价值。
第一点：前人所使用表示词的方法中全部忽略了上下文或者附近词的信息，都是以单个词的词义来表示单词的。
第二点：LSA过大的词袋，词的部分含义也会消失。
综上所述，W2V解决了不仅可以表示上下文之间的关系而且还能表示更大词袋的向量。
可以捕捉更疯不的目标词含义。

二、如何得到W2V？

既然它如此优秀，应该如何计算才能得到呢？

三、是否有其他更优秀的词向量表示呢？

因为word2vec模型无法收敛，而通过SVD方法得到全局最优解。
GloVe（global vectors of word co-occurrences）是对词贡献的全局变量。
word2vec依赖反向传播来更新表示词嵌入的权重，而神经网络的反向传播效率低于GloVe使用的SVD这种更成熟的优化算法。
GloVe的优点：

• 训练过程更快
• 更有效的利用CPU、内存（可以处理更大规模