使用wikiextractor 提取wiki数据

最新推荐文章于 2025-05-19 14:10:28 发布
原创 最新推荐文章于 2025-05-19 14:10:28 发布 · 2.5k 阅读 · 8 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文档介绍了如何使用wikiextractor工具从维基百科下载并提取中文语料库。首先，通过pip安装wikiextractor，接着下载zhwiki-latest-pages-articles.xml.bz2文件。然后，运行python-m wikiextractor命令进行数据提取，指定参数如-b1024M定义文件大小限制和输出路径。整个过程应在Ubuntu环境下进行，以避免可能出现的系统兼容性问题。
部署运行你感兴趣的模型镜像

wikiextractor包链接地址：https://github.com/attardi/wikiextractor
安装wikiextractor: pip install wikiextractor
然后下载wiki语料库，下载地址: https://dumps.wikimedia.org/zhwiki/latest/
我下载的是：zhwiki-latest-pages-articles.xml.bz2
然后使用下面命令：

python -m wikiextractor.WikiExtractor -b 1024M -o /home/work/ljs/wiki/wiki_data /home/work/wiki/zhwiki-latest-pages-articles.xml.bz2
-b 1024M 其中1024M是指单个文件允许的最大的占用硬盘的大小
/home/work/ljs/wiki/wiki_data 指输出数据存放文件夹
/home/work/wiki/zhwiki-latest-pages-articles.xml.bz2 指原始语料存放文件夹

然后就开始提取wiki数据了，如果上述命令执行错误，应该是环境有问题，请检查环境，还有尽量使用ubuntu系统，否则可能出错哦。
运行过程中：
在这里插入图片描述

您可能感兴趣的与本文相关的镜像

Python3.9

Python3.9

Conda
Python

Python 是一种高级、解释型、通用的编程语言，以其简洁易读的语法而闻名，适用于广泛的应用，包括Web开发、数据分析、人工智能和自动化脚本

LLM-预训练-数据集：wiki中文数据集【使用wikiextractor 提取wiki数据】
u013250861的博客
07-21 2156
然后就开始提取wiki数据了，如果上述命令执行错误，应该是环境有问题，请检查环境，还有尽量使用ubuntu系统，否则可能出错哦。安装wikiextractor: pip install wikiextractor。我下载的是：zhwiki-latest-pages-articles.xml.bz2。
WikiExtractor.py（维基百科抽取器）
qq_41648012的博客
03-31 4079
#!/usr/bin/env python # -*- coding: utf-8 -*- # ============================================================================= # Version: 2.75 (March 4, 2017) # Author: Giuseppe Attardi (attardi@di....
WikiExtractor 安装和配置指南
gitblog_09140的博客
09-13 867
### 项目基础介绍 WikiExtractor 是一个用于从 Wikipedia 数据库转储中提取纯文本的 Python 脚本。它能够处理 Wikipedia 的 XML 转储文件，并生成一系列包含清理后文本的文件。该项目的主要目的是为自然语言处理（NLP）任务提供高质量的文本数据。 ### 主要的编程语言 WikiExtractor 主要使用 Python 编写，并且需要 Python 3 ...
维基百科数据预处理
weixin_45858635的博客
07-24 2824
维基百科中英文数据下载；使用Wikiextractor对维基百科数据进行处理；使用正则表达式进行文本预处理
构建共有语料库 - Wiki 语料库
最新发布
qq_60245590的博客
05-19 470
中文Wiki语料库主要指的是从中文Wikipedia（中文维基百科）提取的文本数据。维基百科是一个自由的、开放编辑的百科全书项目，覆盖了从科技、历史到文化、艺术等广泛的主题。对于基于RAG的应用来说，把Wiki语料作为一个公有的语料库去更新大模型的知识时效，是非常有价值的，能够极大地提升模型的性能和应用范围。是一个用于从维基百科等维基媒体项目的数据库 dumps 中提取文本的工具。做文本预处理和数据清洗。文件将下载到当前目录下。
WikiExtractor.py
03-07
维基百科提取器，用来提取维基百科的内容！
使用WikiExtractor提取维基百科语料
m0_62854342的博客
01-18 2766
2.升级到 Python 3.8 及以上版本，Python 3.8 引入了新的 multiprocessing.get start method 方法，可以方便地更改创建进程的方式。这个错误通常出现在 Windows 系统上，因为 Windows 不支持 fork方法，而 fork 是 Multiprocessing 模块默认使用的创建进程的方式。只是不符合代码的模板，不影响提取的进行，可能最后会影响提取的效果。如果你的代码中使用了 fork() 方法，那么你需要修改代码，使用其他方式创建进程。
如何使用wikiextractor 提取wiki的dump数据为html文档
12-10
以下是使用wikiextractor的基本步骤： 1. **安装wikiextractor**: 首先，你需要通过pip安装这个库，打开命令行输入： ``` pip install wikiextractor ``` 2. **下载维基百科dump**: 官方网站提供不同语言版本...
wikiextractor 提取维基百科语料报错的解决办法
AI菜鸡，NLP领域，至今为发不出论文掉头发
08-20 1450
我提取维基百科语料的时候，刚开始使用的wikiextractor ，后来发现总是报错，于是就没有用了，由于很多人都在问我是怎么提取的，现在把代码公布下。
(源码)基于Wiki数据的中文词向量训练系统.zip
03-23
1. 数据准备系统支持从维基百科下载数据并使用WikiExtractor工具提取文本信息。 2. 数据预处理提供数据清洗和格式化的功能，将原始数据转换为适合词向量训练的格式。 3. 词向量训练使用gensim和word2vec两种库进行词...
Wikipedia Extractor
04-16
Wikipedia Extractor 是意大利人用 Python 写的一个维基百科抽取器，使用非常方便。
wikiextractor：从Wikipedia转储中提取纯文本的工具
02-28
WikiExtractor 是一个Python脚本，可从中提取和清除文本。 该工具是用Python编写的，不需要Python 3，但没有其他库。 警告：由于Windows上的Python实现对StringIO支持不佳， StringIO在Windows上已报告问题。 有关更多信息，请参见 。 维基百科卷云提取器 cirrus-extractor.py是从Wikipedia Cirrus转储执行提取的脚本版本。 Cirrus转储包含带有已扩展模板的文本。 Cirrus转储位于： 。 细节 WikiExtractor通过预处理整个转储并提取模板定义来执行模板扩展。 为了加快处理速度： 多重处理用于并行处理文章 缓存中保留有已解析的模板（仅适用于重复提取）。 安装 该脚本可以直接调用： python -m wikiextractor.WikiExtractor <Wikipedi
wikiextractor:修改后的wikiextractor程序包可提取按类别过滤的Wikipedia数据
03-28
维基提取器 修改后的wikiextractor程序包可提取按类别过滤的Wikipedia数据 此包可用于从Wikipedia xml转储提取Wikitext。 每个Wikipedia页面都与一组预定义的类别相关联。 该软件包使您能够提取特定类别的页面，而不是提取整个Wikipedia数据。 ＃使用Git克隆并从wikiextractor文件夹上方的一级运行以下命令 python -m wikiextractor.WikiExtractor <Input xml> -o <Output> --ns <Category> 示例：用于提取与类别板球相关的所有页面 python -m wikiextractor.WikiExtractor enwiki-latest-pages-articles-multistream.xml.bz2 -o out_cricket -
Wiki-Extractor：从Wikipedia数据库转储中提取纯文本的命令行工具
02-26
维基提取器 是用于从给定的Wikipedia数据库转储中提取纯文本的命令行工具。 它处理数据库转储中包含的原始Wikipedia文档，并生成一系列包含相同文档但清除了Wiki语法标记的文本文件。 这些文件可由需要大量纯文本格式的高质量文档的任何后续处理使用。 执照 此代码是根据。 学分 （与Yahoo! Research合作）针对一项创新技术进行了研究，以构建基于语义关系的问题回答系统，该工具于2007年实施。 从这种实现开始，多年来已经开发了许多其他版本的通行费。 将重要的进展合并到此存储库中将是非常好的。 就我而言，在空闲时间，我将尽力而为，并感谢您的贡献，以恢复这一有用且美观的工具的发展。
解析wiki数据（带标点，保留格式）
u013546508的博客
10-23 1509
Wiki数据数据下载 下载地址 https://dumps.wikimedia.org/kowiki/ 下载其他语种数据可更改语种代码，如：kowiki 改为 zhwiki 下载数据文件：kowiki-20201001-pages-articles.xml.bz2 数据解析 安装python 扩展包 Wikiextractor， pip install wikiextractor (github地址：https://github.com/attardi/wikiextractor) 解析数据， pyt
探索知识的宝藏：Wikipedia Extractor
gitblog_00027的博客
05-25 616
探索知识的宝藏：Wikipedia Extractor 去发现同类优质开源项目:https://gitcode.com/ 项目介绍 Wikipedia Extractor 是一个高效且实用的Python脚本，由Giuseppe Attardi开发。它从维基百科的XML数据库备份中提取出纯文本内容，省去了诸如图片、表格、引用和列表等复杂元素。这个工具是为那些需要大量训练数据或希望对维基百科内容进行注...
wikiextractor使用举例
c_jia_jia的博客
05-24 1964
本文主要记录使用wikiextractor工具处理enwiki数据集。 数据集下载 处理英文维基百科的文章，数据集在数据链接内找 enwiki:Dump complete，找到后点击进入新页面，找到 enwiki-最近更新的日期-pages-articles.xml.bz2 下载，20200520更新的为16.1GB。注意，下载后不需要解压，wikiextractor可以直接处理。 wikiextractor的使用 工具链接：https://github.com/attardi/wikiextra.
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值