使用中文维基百科语料库+opencc+jieba+gensim训练一个word2vec模型

最新推荐文章于 2025-08-05 09:09:51 发布
原创 最新推荐文章于 2025-08-05 09:09:51 发布 · 358 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本篇博客由优快云博主精心整理，内容覆盖广泛的技术知识点，深入浅出地解析了各种技术细节，适合各阶段的学习者阅读。

https://blog.youkuaiyun.com/luhuibo318/article/details/98487866

博主分享的特别细致全面!!!

RRRayna
关注
维基百科简体中文语料训练word2vec词向量
qq_41648012的博客
04-01 2049
维基百科简体中文语料训练word2vec词向量 步骤： 1.下载维基百科中文语料 2.使用工具从压缩包中抽取正文文本 3.将繁体字转简体字 4.分词 5.训练模型 6.测试模型 1.下载维基百科中文语料 语料下载地址：https://dumps.wikimedia.org/zhwiki/ 有不同时间段的下载地址，我们需要训练词向量，请选择包含articles.xml.bz2字段的链接（包含词...
使用中文维基百科训练word2vec模型
曦晨
11-15 750
训练结束后会产生三个模型文件wiki_zh.model、wiki_zh.model.wv.vectors.npy、wiki_zh.model.syn1neg.npy，找到其中的：opencc-1.0.1-win64，将wiki_zh.txt拷贝到该文件夹下，在opencc-1.0.1-win64文件夹下使用如下命令。命令执行一会，执行结束后会产生一个文件wiki_zh_jian.txt，这个文件就是简体的文本。执行结束后生成一个文件wiki_zh_jian_cut.txt。
教你用维基百科语料库+opencc+jieba+gensim训练一个word2vec模型
风闻有BUG
08-05 2581
本篇文章主要介绍如何通过使用中文维基百科语料库+opencc+jieba+gensim训练一个word2vec模型。 ## word2vec模型的使用 训练完成之后，我们可以利用训练好的模型来做一些词的预测，主要包括三个方面的应用。 1、找出与指定词相似的词 返回的结果是一个列表，列表中包含了制定个数的元组，每个元组的键是词，值这个词语指定词的相似度。 2、计算两个词的相似度 3、根据前三个词来类比 并用wordcloud词云显示结果
维基百科中文语料库训练word2vec模型和使用总结
TimEcho的博客
08-07 6176
首先列明参考博文地址： 使用中文维基百科语料库训练一个word2vec模型并使用说明 windows使用opencc中文简体和繁体互转 使用中文维基百科训练word2vec模型 一、下载维基百科中文语料库 下载地址：https://dumps.wikimedia.org/zhwiki/ 这里我选择的是20200801，下载第一个即可 二、语料库处理 1、使用WikiExtractor提取语料库文章 WikiExtractor项目git地址 直接根据说明安装，这里我直接pip WikiExtractor是
中文维基百科语料库百度网盘网址.txt
08-10
本资源是维基百科中文网页的语料库（包含处理过的与未处理的），版本为2020-8-3版本，可适用于中文语料处理等训练集。由于文件过大，放在的百度网盘中，如果网盘被和谐或者其他原因造成的无法打开，请评论留言，本人看到后立即更改。 文件中包含的内容有：未经处理的维基百科语料库、使用代码处理繁体转简体并jieba分词后的语料库、繁体转简体的代码，读者可根据自己的需要进行相应的提取。
[NLP]基于维基百科中文语料库的Word2Vec模型训练
qq_41595507的博客
12-05 1388
说明：该博客代码参考于 参考博客：使用中文维基百科语料库+opencc+jieba+gensim训练一个word2vec模型 参考博客：使用中文维基百科训练word2vec模型 零、 模型训练环境 Windows10-X64 、 python2.7 、 python3.6 pip install jieba pip install gensim 一、下载维基百科语料库 数据下载地址 该博客使...
【大模型实战】使用Gensim训练中文维基百科数据词向量模型
知识靠谱的博客
05-25 1039
以维基百科的中文网页作为语料库，进行word2vect模型训练
使用word2vec对中文维基百科数据进行处理
qq_20182781的博客
07-17 304
并使用gensim中的wikicorpus解析提取xml中的内容。四.利用gensim中的word2vec训练分词后的文本。三.利用jieba对转换后的文本进行分词，去停词。二.利用opencc繁体转简体。一.下载中文维基百科数据。
基于word2vec使用wiki中文语料库实现词向量训练模型--2019最新
锅巴
07-11 3469
目录 一、数据获取 二、将xml格式数据转为txt 三、繁体转为简体 方法1---自己使用opencc库手动了1个转换程序，pip install opencc进行安装 方法2---网上有一个exe应用程序进行转换，详情见：https://bintray.com/package/files/byvoid/opencc/OpenCC 四、分词 五、Word2Vec模型训练 六、W...
中文维基百科语料库（截止2019年2月20日）
02-24
这是最新的中文维基百科语料库（截至2019年2月20日），可以用来训练word2vec词向量，做文本分类，官网特别难下载，因此分享出来
中文维基百科语料-可用于词向量训练
10-19
数据来源于中文维基百科，利用gensim进行数据抽取，再经过繁体字转换成简体字，得到纯净的文本语料，可用于词向量训练。
维基百科中文语料（已分词）
05-23
自己用来训练word2vec的，已提取文本，做了分词处理，过滤了大部分的特殊字符。 共包含3273626个段落的文本（一个段落包含了多个语句）。 处理后的语料有1.1G，由于文件较大，提供百度网盘下载地址。
『词向量』用Word2Vec训练中文词向量（二）—— 采用维基百科语料库
酒狂的博客
03-14 5363
本文是在『词向量』用Word2Vec训练中文词向量（一）—— 采用搜狗新闻数据集 的基础上，将搜狗与维基两个语料库合并，进而训练出较好的词向量模型。
用 Python 构建高质量的中文 Wikipedia 语料库：从原始 XML 到干净段落
最新发布
swpucwf的博客
08-05 1141
最终生成适用于下游自然语言处理（NLP）任务（如模型预训练、知识库构建、RAG 数据源）的干净语料。它专注于解决原始维基数据中包含大量噪声（如 HTML 标签、维基标记、模板信息）的问题。为了让长文本适用于有长度限制的模型，需要将清洗后的文本切分成合适的段落。该脚本主要通过命令行参数接收输入，并输出一个处理后的文件。这是整个脚本技术含量最高的部分。来清除维基百科特有的标记语言和格式噪声。以下是脚本中几个关键函数的简化示例代码。
维基百科中文语料分析（附实际评论案例）
m0_58327216的博客
04-27 3648
维基百科语料分析，加购物平台商品评论分析实战
Anconda3使用gensim训练中文维基百科语料库
zhylhy520的博客
07-31 1051
首先需要下载中文语料，下载地址为：http://download.wikipedia.com/zhwiki/latest/zhwiki-latest-pages-articles.xml.bz2 下载完中文语料后，需要将XML文件转化为TEXT文件，用python3.x版本可能会出现bytes与str的问题，笔者用以下代码亲测有效 # -*- coding:utf-8 -*- # Autho...
维基百科的语料库下载以及后续操作（一）2020年6月【包括opencc下载避雷，繁转简】
mocking_的博客
06-03 5017
（二）下载之后需要对其进行提取txt文件，并且进行繁体字转化，以及去除一些帮助页面和重定向的页面，处理程序为：参考了站内一位大神——残月飞雪的代码，但是因为我的python是3.7以上的版本，稍微修改了一些地方就可以正常使用了。我从接触python开始就不是正常学的，很匆忙一些基础的知识掌握的都不是很好，这是我的CMD显示pip安装成功的提示，我也用三两句代码实现了简繁转换，如下所示。除了上面第二部分修改的，第三部分opencc也进行一些修改，我是Geany运行的，可以实现。我的并不是专业的，都是逼的。
如何使用中文维基百科语料
风吹麦浪的专栏
07-02 3221
前言 在做自然语言处理时很多时候都会需要中文语料库，高质量的中文语料库较难找，维基百科和百度百科算是比较不错的语料库。其中维基百科会定时将语料库打包发布 https://dumps.wikimedia.org/zhwiki/ ，可以下载最新版本的语料库。而百度百科则需要自己去爬，不过也有人把爬好的语料贡献出来了，https://pan.baidu.com/share/init?surl=i3wvf...
维基百科中文语料1.1G，训练word2vec模型
使用经过维基百科中文语料训练的word2vec模型，可以在上述NLP应用中提升语言模型的性能和准确性。 五、数据集的应用场景 1. 词嵌入生成：使用word2vec对维基百科中文语料进行训练，可以生成中文词嵌入（word ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值