【机器学习】word2vec学习笔记（二）：word2vec-tool

本文主要介绍Google官网提供的word2vec工具：word2vec，计算词的连续分布表示的工具。

本文并不涉及word2vec算法的原理与细节，只是简单的介绍了word2vec这个工具及一些在实践中的表现等。

word2vec工具提供了CBOW模型和skip-gram模型计算词的向量表示的有效实现。这些表示能够随后应用在后期的NLP应用和进一步研究中。

• 官网地址：https://code.google.com/archive/p/word2vec/
• GitHub地址：https://github.com/tmikolov/word2vec
• GitHub原始文件列表与Make之后的文件列表：

 

博客中绿色加粗字体表示C编译之后的可执行文件，加粗倾斜字体表示脚本文件，加粗倾斜下划线字体表示数据文件。

1. Quick start

• Download the code: svn checkout http://word2vec.googlecode.com/svn/trunk/ （应该已经打不开了，翻墙可以）
• Run 'make' to compile word2vec tool
• Run the demo scripts: ./demo-word.sh and ./demo-phrases.sh

2. How does it work

word2vec工具使用一个文本语料库作为输入并将生成的词向量作为输出。word2vec首先从训练的文本数据中构造出一个词汇表然后学习词的向量表示。输出的词向量文件可以作为许多NLP应用和ML应用的特征。

研究学到的向量表示的简单方法是找出用户给定的词的最接近的词