python——word2vec

使用gensim提供的模型word2vec训练从网上获得的语料。gensim是Radim Řehůřek博士提供的库。

比较简单的参考资料：getting-started-with-word2vec-and-glove-in-python

更进一步的word2vec的使用可以参考这篇文章：

Word2vec Tutorial

1、处理原始语料，得到word2vec需要的输入格式

这次实验使用的语料是yelp（共2225213条）和amazon electronic(共计1689188条)上的评论语料，都是json格式的。

首先清楚word2vec模型的输入是什么样子的。可以是内建的列表，其中每个元素表示一句话，每个元素又是一个列表组成，比如

sentences=[['i', 'am', 'wei'], ['hello','everyone']]
model = gensim.models.Word2Vec(sentences, min_count=1)

当然这样只能训练出来的词向量没有任何意思。也不可能把所有的语料全部存在一个list中，全部加载进内存。word2vec还提供了一个通过读取文件的方式获得输入：

word2vec(filenam