python——在cmd模式下输入pip list查看已经安装的模块module

最新推荐文章于 2024-05-31 16:37:38 发布

偷偷搞塌

最新推荐文章于 2024-05-31 16:37:38 发布

阅读量6.4k

点赞数

CC 4.0 BY-SA版权

分类专栏： python学习记录智障学习Python

本文链接：https://blog.youkuaiyun.com/weixin_42714175/article/details/88713791

python学习记录同时被 2 个专栏收录

37 篇文章

订阅专栏

智障学习Python

6 篇文章

订阅专栏

本文参考刘建平Pinard老师博客，介绍了gensim中word2vec相关API。重点阐述了算法需注意的参数，如sentences、size、window等，说明了各参数含义、默认值及不同语料下的调整建议，最后表示将用实际例子学习word2vec。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

C:\Users\dell\Desktop>python3 -m pip install --upgrade pip
#在cmd中更新pip

C:\Users\pt0531>pip list

 from gensim.models import word2vec
#这个是安装成功的标志

算法原理参见了刘建平Pinard老师的博客：
https://www.cnblogs.com/pinard/p/7249903.html
（手写笔记）

1. gensim word2vec API ——（Application Program Interface应用程序接口）概述

在gensim中，word2vec 相关的API都在包gensim.models.word2vec中。
　和算法有关的参数都在类gensim.models.word2vec.Word2Vec中。

算法需要注意的参数有：

1) sentences: 我们要分析的语料，可以是一个列表list，或者从文件中遍历读出。后面我们会有从文件读出的例子。

2) **size: 词向量的维度，默认值是100。**这个维度的取值一般与我们的语料的大小相关，如果是不大的语料，比如小于100M的文本语料，则使用默认值一般就可以了。如果是超大的语料，建议增大维度。

3) **window：即词向量上下文最大距离，这个参数在我们的算法原理篇中标记为c，window越大，则和某一词较远的词也会产生上下文关系。默认值为5。**在实际使用中，可以根据实际的需求来动态调整这个window的大小。如果是小语料则这个值可以设的更小。对于一般的语料这个值推荐在[5,10]之间。

4) sg: 即我们的word2vec两个模型的选择了。如果是0，则是CBOW模型，是1则是Skip-Gram模型，默认是sg=0即CBOW模型。

5) hs: 即我们的word2vec两个解法的选择了，如果是0，则是Negative Sampling，是1的话并且负采样个数negative大于0，则是Hierarchical Softmax。默认是hs=0即Negative Sampling。

6) negative:即使用Negative Sampling时负采样的个数，默认是5。推荐在[3,10]之间。这个参数在我们的算法原理篇中标记为neg。

7) cbow_mean: 仅用于CBOW在做投影的时候。
　　　　cbow_mean=0，则算法中的xw为上下文的词向量之和
　　　　cbow_mean=1则为上下文的词向量的平均值。
　　　　在我们的原理篇中，是按照词向量的平均值来描述的。个人比较喜欢用平均值来表示xw,默认值也是cbow_mean=1,不推荐修改默认值。

8) min_count: 需要计算词向量的最小词频。这个值可以去掉一些很生僻的低频词，默认是5。如果是小语料，可以调低这个值。

9) iter: 随机梯度下降法中迭代的最大次数，默认是5。对于大语料，可以增大这个值。

10) alpha: 在随机梯度下降法中迭代的初始步长。算法原理篇中标记为η，默认是0.025。

11) min_alpha: 由于算法支持在迭代的过程中逐渐减小步长，min_alpha给出了最小的迭代步长值。随机梯度下降中每轮的迭代步长可以由iter，alpha， min_alpha一起得出。这部分由于不是word2vec算法的核心内容，因此在原理篇我们没有提到。对于大语料，需要对alpha, min_alpha,iter一起调参，来选择合适的三个值。

以上就是gensim word2vec的主要的参数，下面我们用一个实际的例子来学习word2vec。