python 下的 word2vec 学习笔记

1.ubuntu下安装gensim

refer to: ubuntu 14.04 安装gensim

为了保证安装成功，首先升级一下easy_install工具。

sudo easy_install -U setuptools

之后使用easy_install进行安装，使用apt-get安装会遇到编码出错，不知为什么，使用easy_install安装成功就行了。

sudo easy_install --upgrade gensim

结果在import gensim 中还出现了点小错误，缺少了平pattern模块，所以直接pip 安装。

sudo pip install pattern

2.训练生成模型

安装完成之后，就来训练模型。
refer:中英文维基百科语料上的word2vec实验

模型的训练如下：

# ################# 例1 #########################
# import modules & set up logging
import gensim, logging
logging.basicConfig(format='%(asctime)s : %(levelname)s : %(message)s', level=logging.INFO)

sentences = [['first', 'sentence'], ['second', 'sentence']]
# train word2vec on the two sentences
model = gensim.models.Word2Vec(sentences, min_count=1)

在本次的实验中，我们的数据是保存在txt文件中的。每一行对应一个句子（已经分词，以空格隔开），我们可以直接用LineSentence把txt文件转为所需要的格式。

# ###############