一、训练 Word2Vec模型:
sentences = word2vec.LineSentence('./in_the_name_of_people_segment.txt')
model = word2vec.Word2Vec(sentences, hs=1,min_count=1,window=3,size=100)
二、模型的使用:word2vec本质上就是每个词语的词向量表达。
1、第一个是最常用的,找出某一个词向量最相近的词集合,代码如下:
for key in model.wv.similar_by_word('沙瑞金', topn =100): #decode('utf-8')就会报错。
print(key)
2、第二个应用是看两个词向量的相近程度,这里给出了书中两个人的相似程度:
print(model.wv.similarity('沙瑞金','高育良')) #不编码反而没问题。
3、第三个应用是找出不同类的词,这里给出了人物分类题:
print (model.wv.doesnt_match(u"沙瑞金 高育良 李达康 刘庆祝".split()))
三、word2vec词向量训练及gensim的使用
https://blog.youkuaiyun.com/zl_best/article/details/53433072
四 、Word2vec对象还支持online learning 可以在维基百科model的基础上添加自己的语料库。
model = gensim.models.Word2Vec.load('/tmp/mymodel')
model.train(more_sentences)