gensim word2vec 使用

本文详细介绍了如何使用Gensim库训练Word2Vec模型,包括模型参数设置、词向量查找、词语相似度计算及词语分类。此外,还讨论了Word2Vec模型的在线学习能力。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

一、训练 Word2Vec模型:

sentences = word2vec.LineSentence('./in_the_name_of_people_segment.txt')

model = word2vec.Word2Vec(sentences, hs=1,min_count=1,window=3,size=100)

二、模型的使用:word2vec本质上就是每个词语的词向量表达。

1、第一个是最常用的,找出某一个词向量最相近的词集合,代码如下:

for key in model.wv.similar_by_word('沙瑞金', topn =100):  #decode('utf-8')就会报错。
    print(key)

2、第二个应用是看两个词向量的相近程度,这里给出了书中两个人的相似程度:

print(model.wv.similarity('沙瑞金','高育良')) #不编码反而没问题。

3、第三个应用是找出不同类的词,这里给出了人物分类题:

print (model.wv.doesnt_match(u"沙瑞金 高育良 李达康 刘庆祝".split()))

三、word2vec词向量训练及gensim的使用

https://blog.youkuaiyun.com/zl_best/article/details/53433072

四 、Word2vec对象还支持online learning 可以在维基百科model的基础上添加自己的语料库。

model = gensim.models.Word2Vec.load('/tmp/mymodel')
model.train(more_sentences)

 

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值