python Gensim库建立word2vec参数说明

最新推荐文章于 2024-07-10 00:00:24 发布

转载最新推荐文章于 2024-07-10 00:00:24 发布 · 163 阅读

CC 4.0 BY-SA版权

原文链接：http://www.cnblogs.com/mahailuo/p/9116681.html

文章标签：

本文详细介绍了使用gensim库中的Word2Vec模型进行词向量训练时的各种参数配置，包括训练算法的选择、特征向量维度大小、窗口大小等，并解释了这些参数如何影响模型的训练过程和最终结果。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

from gensim.models import word2vec
model = word2vec.Word2Vec(sentences, size=80, window=10,workers=6)

sentences：可以是一个list
sg：用于设置训练算法，默认为0，对应CBOW算法；sg=1则采用skip-gram算法。
size：是指特征向量的维度，默认为100。大的size需要更多的训练数据,但是效果会更好. 推荐值为几十到几百。
window：表示当前词与预测词在一个句子中的最大距离是多少
alpha: 是学习速率
seed：用于随机数发生器。与初始化词向量有关。
min_count: 可以对字典做截断. 词频少于min_count次数的单词会被丢弃掉, 默认值为5
max_vocab_size: 设置词向量构建期间的RAM限制。如果所有独立单词个数超过这个，则就消除掉其中最不频繁的一个。每一千万个单词需要大约1GB的RAM。设置成None则没有限制。
workers参数控制训练的并行数。
hs: 如果为1则会采用hierarchica·softmax技巧。如果设置为0（defau·t），则negative sampling会被使用。
negative: 如果>0,则会采用negativesamp·ing，用于设置多少个noise words
iter：迭代次数，默认为5

转载于:https://www.cnblogs.com/mahailuo/p/9116681.html