word2vec的使用(未完成)

Gensim之Word2Vec使用手册 1.介绍 一句话,Gensim中的Word2Vec类就是用来训练词向量的,这个类实现了词向量训练的两种基本模型skip-gram和CBOW,可以通过后面的参数设置来选择。但是,在Gensim这个模块中训练词向量的方法还有很多:gensim.models.doc2vec.Doc2Vec,gensim.models.fasttext.FastText,gensim.models.wrappers.V... 阅读详情

最近希望使用TextCNN来进行文本分类,还以为很简单。然后去github clone了两个项目。想着先用gensim.word2vec就可以获得很好的效果。结果发现下载下来的代码都是使用google word2vec。gensim.word2vec是基于google word2vec写的,但是gensim.word2vec的功能少一些。它没法统计word2vec的维度,它也无法返回词向量矩阵,更加返回每个词的index。所以最终需要使用google word2vec。

先提一下这两个工具的不同之处。由于这些不同之处导致了工作陷入特别的困难。
word2vec:提供了对词向量方便的操作。包括词向量的shape(词的个数和词向量的大小),vectors(向量矩阵),vocab(所有的词)和vocab_hash(用字典存储,各个词的index)
gensim.word2vec:虽然没有这些操作,但是在实际训练词向量的过程中有更高的鲁棒性。使用word2vec训练词向量的过程中,只要文档中包含非UTF-8编码的字符,就会导致出错。而gensim.word2vec却没有这个问题。
word2vec和gensim.word2vec的github地址如下:
word2vec和gensim.word2vec

  1. 下载word2vec
>> pip install word2vec
  1. word2vec中的函数
    PS:训练中文词向量时使用
import sys
reload(sys)
# 使用默认编码,否则有可能出错
sys.setdefaultencoding('utf-8')

方法(再补充)

  1. word2vec.phrase(‘input_file_path’, ‘output_file_path’, verbose=True)

      1. 4.

2、 gensim.word2vec中的函数
训练词向量

from gensim.models import word2vec

class IterSentence(object):
    def __init__(self, file_path):
        self.file_path = file_path
    def __iter__(self):
        for line in open(self.file_path, 'r'):
            yield line.split()

# sentences 采用迭代的方式。(一句话分成列表格式的各个词)
sentences = IterSentence(file_path)
# size: 词向量特征的大小
# window: 词向量训练时参考的最大词长度。类似n-gram
# min_count: 允许最小词的个数。词频低于5的词,不计算词向量
# workers: 采用并行的个数
model = word2vec.Word2Vec(sentences, size=100, window=5, min_count=5, workers=4)

保存和读取词向量模型

model.save(fname)
model = Word2Vec.load(fname)  # you can continue training with the loaded model!

查看某词的向量

>> model.wv['computer']  # numpy vector of a word
array([-0.00449447, -0.00310097,  0.02421786, ...], dtype=float32)

加载C语言版本的词向量

from gensim.models.keyedvectors import KeyedVectors

word_vectors = KeyedVectors.load_word2vec_format('/tmp/vectors.txt', binary=False)  # C text format

word_vectors = KeyedVectors.load_word2vec_format('/tmp/vectors.bin', binary=True)  # C binary format

存储词向量格式

model.wv.save_word2vec_format(wordvec_file,
                             vocabulary_file,
                              binary=True)
# wordvec_file:词向量文件
# vocabulary_file:词计数文件

动态训练词向量

train(sentences, total_examples=None, total_words=None, epochs=None, start_alpha=None, end_alpha=None, word_count=0, queue_factor=2, report_delay=1.0, compute_loss=None)

'''
Update the model’s neural weights from a sequence of sentences (can be a once-only generator stream). For Word2Vec, each sentence must be a list of unicode strings. (Subclasses may accept other examples.)

To support linear learning-rate decay from (initial) alpha to min_alpha, and accurate progres-percentage logging, either total_examples (count of sentences) or total_words (count of raw words in sentences) MUST be provided. (If the corpus is the same as was provided to build_vocab(), the count of examples in that corpus will be available in the model’s corpus_count property.)

To avoid common mistakes around the model’s ability to do multiple training passes itself, an explicit epochs argument MUST be provided. In the common and recommended case, where train() is only called once, the model’s cached iter value should be supplied as epochs value.
'''
update_weights()
'''
Copy all the existing weights, and reset the weights for the newly added vocabulary.
'''

3、 gensim.doc2vec中的函数
训练doc向量

from gensim.models import doc2vec

sentences = doc2vec.TaggedLineDocument(file_name)
model = doc2vec.Doc2Vec(sentences, min_count, size, window, workers)

保存和读取doc向量模型

model.save(model_name)
# model_name:是要保存的model的文件名

存储doc向量

 with open(doc_name, 'w') as out:
     out.write(str(self.__d_model.docvecs.count) + ' ' + str(self.__d_size) + '\n')
     for i in range(0, self.__d_model.docvecs.count):
         docvec = self.__d_model.docvecs[i]
         docvec_list = docvec.tolist()
         docvec_list.append('\n')
     out.write(' '.join(str(v) for v in docvec_list))
#doc_name:存储doc向量的名称

动态训练词向量

train(sentences, total_examples=None, total_words=None, epochs=None, start_alpha=None, end_alpha=None, word_count=0, queue_factor=2, report_delay=1.0, compute_loss=None)

update_weights()

查看某doc的向量(索引号)

>> model.docvecs[0]  # numpy vector of a word
array([-0.00449447, -0.00310097,  0.02421786, ...], dtype=float32)
word2vec、doc2vec的使用 word2vec 阅读详情

相关推荐

Word2Vec中文语料实战

1、环境配置             本人使用的是MacBook +Python2.7.11             首先,安装NLP工具包gensim,这里包含了今天的主角:Word2Vec pip install--upgrade gensim             其次,安装中文分词工具包jieba pip installjieba 2、语料库说明

3CDFP 2万+

python word2vec 判断某个词语是否在词典中

通过Python gensim训练word2vec过程中,假如得到的模型变量是word2vecModel,判断某个词语是否在训练word2vecModel的词典中,利用下面的句子:    if word in word2vecModel即可...

醉意流年go的博客 9147

c#使用Word2vec.net

这里写自定义目录标题前言一、Word2vec.Net是什么?二、使用步骤1.使用NuGet安装2.使用dll导入3.使用using引用4.生成vocab.bin文件5.进行Word2Vec2.Net 的使用总结 提示:文章写完后,目录可以自动生成,如何生成可参考右边的帮助文档 文章目录前言一、Word2vec.Net是什么?二、使用步骤1.使用NuGet安装2.使用dll导入3.使用using引用4.生成vocab.bin文件5.进行Word2Vec2.Net 的使用总结 前言 Word2vec,是一群

m0_49148496的博客 1578

python word2vec

from gensim.models import Word2Vec from gensim.models.word2vec import LineSentencedef gen_embeddings(in_file, out_file, size=100): corpus = LineSentence(in_file) model = Word2Vec( sente

tsf的博客 867

Word2vec安装使用

下载C版本的word2vec进入文件目录下后,会有一个makefile文件,有了它就可以编译啦$ cd /home/yinglish/download/word2vec/trunk $ make编译完后会生成一些新的文件。 接下来如果要使用word2vec自带的词典,则运行:$ ./demo-word.sh它将会去下载数据text8(用空格隔开的英文单词,不包含标点符号,大概1600多万个单词)如

ying.F的博客 3978

Spark word2vec使用

Spark 提供有两个包提供了word2vec, 分别是 org.apache.spark.mllib.feature.{Word2Vec, Word2VecModel} org.apache.spark.ml.feature.Word2Vec 本质没有太大的区别,只是两个包的作用对象不一样 spark.mllib contains the original API built on top of RDDs. spark.ml provides higher-level API built on top

Crystal_Zero的博客 1万+

gensim的word2vec如何得出词向量(python)

利用gensim中的word2vec得到词向量的具体代码实现步骤    点解此链接有详解https://blog.youkuaiyun.com/weixin_40292043/article/details/79571346

谢润忠 1790

word2vec原理及实现

word2vec,字词的向量空间模型依靠将语意相近的词语聚在一起来提高自然语言处理的表现。

方品 2万+

Gensim 4.0.0加载词向量时“KeyedVectors.load_word2vec_format”,报错。

Gensim 4.0.0 加载词向量时报错。

romantickai的博客 2097

模块学习(一)——编码电机

编码电机测速

qq_51406846的博客 7912

工具变量三连检全解析:识别不足、弱工具变量与过度识别

因果推断是实证研究的核心追求,而工具变量法则是在内生性困扰下获取可信因果效应的关键武器。在实际操作中,研究者常借助Stata软件执行两阶段最小二乘估计,但面对输出结果中繁杂的统计量,如何解读识别不足检验、弱工具变量诊断与过度识别限制检验,成为区分严谨实证与“跑回归”的分水岭。理解这些检验的统计学原理:识别不足检验通过LM统计量考察工具变量与内生变量的相关性;弱工具变量诊断借助CDW统计量评估第一阶段解释力;过度识别检验利用Hansen J统计量判断多余工具变量的外生性。掌握它们在异方差、聚类稳健标准误下的适

weixin_30119911的博客 231

word2vec使用指导

word2vec是一个将单词转换成向量形式的工具。可以把对文本内容的处理简化为向量空间中的向量运算,计算出向量空间上的相似度,来表示文本语义上的相似度。 一、理论概述 (主要来源于http://licstar.net/archives/328这篇博客) 1.词向量是什么 自然语言理解的问题要转化为机器学习的问题,第一步肯定是要找一种方法把这些符号数学化。   NLP 中最直观,也是到目前

zhoubl668的专栏:远帆,梦之帆! 18万+

【安徽理工大学】一文带你高分拿下计算机考研复试(85+的秘密)

一文带你高分拿下安徽理工大学计算机考研复试(85+的秘密)

猫天意的博客 1525

Word2vec原理浅析及gensim中word2vec使用

本文转载于以下博客链接:Word2vec原理浅析:https://blog.youkuaiyun.com/u010700066/article/details/83070102; gensim中word2vec使用:https://www.jianshu.com/p/b779f8219f74 如有冒犯,还望谅解! Word2vec原理浅析及tensorflow实现 Word2Vec是由Google的M...

luoxuexiong的博客 1万+

c语言版数据结构课程设计 学生成绩管理系统

此学生成绩管理系统完成15项功能,是我经过很多次的修改得到的。花费时间不短,功能齐全,主要完成了:输入,输出,插入,修改,删除,查询,读取文件,写入文件,复制文件,建立索引,显示各种情况下的信息,追加学生信息等等功能。一共15项。   代码如下: // shujujiegou.cpp : 定义控制台应用程序的入口点。///**本程序采用数组链表形式,原因:数组查询速度快,数组也能实现动态存储

Java 1万+

别再到处找包了!Keil5芯片支持包(Pack)最全管理指南:安装、更新、迁移与离线备份

本文详细解析了Keil5芯片支持包(Pack)的全生命周期管理,包括安装、更新、迁移与离线备份的工程化解决方案。针对STM32F10x等常见芯片,提供了高效获取Pack的策略、版本管理技巧及团队协作方案,帮助开发者解决常见的'Device Family Pack missing'等问题,提升嵌入式开发效率。

weixin_28729205的博客 542

Word2vec使用手册

引言Google开源的Word2vec是自然语言处理领域里面,比较好用的工具。这篇博客主要就是介绍如何在一些开源工具中使用这套工具。官方网址:传送门安装Gensim开发了一套工具箱叫做gensim,里面继承了Word2vec方法。 因此安装方法就是:pip install --upgrade gensimNote:依赖环境 Python >= 2.6 NumPy >= 1.3 Sc

分享人工智能学习心得与实践经验,探讨应用场景,见证变革与进步 1万+

《深入掌握MongoDB数据库》 - 专栏介绍和目录

本专栏系统讲解MongoDB从基础到高级的全栈知识,涵盖安装配置、核心操作、性能优化、安全运维等核心内容。基础部分包括CRUD操作、数据类型、查询语法等入门知识;进阶部分深入索引优化、聚合查询、事务处理等高级特性;核心原理解析存储引擎与数据格式;安全运维则聚焦访问控制、认证机制、审计日志等企业级实践。通过实战案例与最佳实践,帮助开发者全面掌握MongoDB在不同场景下的应用,适合各层次技术人员系统学习。

数据知道的博客 3000

Word2Vec 使用总结

word2vec是google 推出的做词嵌入(word embedding)的开源工具。 简单的说,它在给定的语料库上训练一个模型,然后会输出所有出现在语料库上的单词的向量表示,这个向量称为"word embedding"。基于这个向量表示,可以计算词与词之间的关系,例如相似性(同义词等),语义关联性(中国 - 北京 = 英国 - 伦敦)等。NLP中传统的词表示方法是 one-hot representation, 即把每个单词表示成dim维的稀疏向量,dim等于词汇量的大小。这个稀疏向量只有一个...

张伟的专栏 3541

MAX30102心率血氧传感器原理图设计,已量产(e-Health传感器)

在最近的便携健康监测设备项目中,我们采用了集成算法的 MAX30102 心率血氧模块 —— 这类带内置 MCU 算法的传感器能直接输出心率 / 血氧数值,大幅降低了主控资源占用。但硬件电路的稳定性直接决定了 PPG 信号的采集精度,下面结合实际项目里的原理图,拆解下这个模块的设计细节。

不脱发的程序猿 1283

Codex 桌面端自定义模型列表为空 — 修复记录

摘要:Codex桌面端首次启动正常,但二次启动后出现中文界面且模型列表丢失。问题根源在于Electron的Chromium持久化状态损坏,导致UI渲染异常。解决方案包括:1) 将config.toml中的模型路径改为绝对路径;2) 删除损坏的状态文件.codex-global-state.json;3) 清除Chromium用户数据目录AppData\Roaming\Codex\web。验证显示修改后模型功能恢复正常,重装无效的原因是卸载未清除用户数据目录。

猿小白的博客 1159

Word2Vec的使用,一些思考,含示例——包括使用预训练Word2Vec模型和自训练Word2Vec模型

Word2Vec的使用,含示例——包括使用预训练Word2Vec模型和自训练Word2Vec模型

hahaha_1112的博客 5326

锂电池充电器电路设计 里面有电路

锂电池充电器电路设计 里面有电路 3.7V升压到5V电路设计。

Word2Vec的安装与使用

向量词

Cao_Mary的博客 7712

visio安装包

Microsoft Office Visio 是一款专业的制图软件。利用经过更新的形状、协作工具和数据链接图表,创建专业级图表以简化复杂的信息。

OV9734 DATASHEET,完整规格书

OV9734完整规格书,包括电气参数,尺寸规格,寄存器配置表等

gensim中的word2vec的使用

本着尊重原著的想法,我们先把一些引用的文章贴上来,供大家参考 word2vec的理论知识,这个真的蛮详细的,我表示没有耐心全部搞透啊!:https://blog.youkuaiyun.com/itplus/article/details/37969519 苏剑林苏大神的博客,我很喜欢的一位大神:https://kexue.fm/archives/3863 刘建平Pinard 大神的博客:https://...

yibo492387的专栏 8671

蓝牙模块HM-10手册

蓝牙模块HM-10手册,该手册对蓝牙模块HM-10进行了详细的介绍和使用方法以及一些AT指令。

上一篇: 解决matplotlib中文乱码问题(Ubuntu16.04 Or Mac)
下一篇: VIM剪贴板使用指南
我就想叫这个
博客等级 码龄11年 52粉丝 39原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值