Python Gensim Word2vec

最新推荐文章于 2024-07-10 00:00:24 发布

agaoq

最新推荐文章于 2024-07-10 00:00:24 发布

阅读量593

点赞数

分类专栏： nlp 文章标签： nlp Python gensim word2vec

本文链接：https://blog.youkuaiyun.com/agaoq/article/details/80483426

版权

本文介绍了如何在Python中使用Gensim库实现Word2Vec模型。首先，文章列出了系统需求和相关包的版本，接着详细讲解了如何安装Gensim。随后，通过一个英文示例演示了Word2Vec模型的使用，包括代码运行结果及其解释。对于中文文本，文章指出需要先进行分词处理。最后，提供了相关的参考资料。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

Getting started

系统及包的版本
ubuntu 16.04
Python 3.5
Numpy 1.14.0
Scipy 1.1.0
gensim 3.4.0
jieba 0.39

Install Gensim

pip3 install gensim

Demo

英文

import gensim
from gensim.models import Word2Vec

# define training data
sentences = [['this','is','first','sentence','for','word2vec'],
            ['this','is','the','second','sentence'],
            ['yet','another','sentence'],
            ['one','more','sentence'],
            ['and','the','final','sentence']]

# train model: 2 approaches
print('----------------------------------------------')
# approach 1: using Word2Vec directly
model = Word2Vec(sentences, min_count=1, size=100)
# appraoch 2: 3 steps
model = Word2Vec(size=100, min_count=1) # build a null model
model.build_vocab(sentence) # build vocabs
model.train(sentence,total_examples=model.corpus_count, epochs=model.epochs) # train the model
print('------------------------