WikipediaExtractor 使用心得

最新推荐文章于 2025-05-19 14:10:28 发布
原创 最新推荐文章于 2025-05-19 14:10:28 发布 · 3.3k 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#python #wikipedia extractor

本文介绍了如何在Mac环境下使用WikipediaExtractor解析wiki数据，通过调整命令解决了初始问题，得到了纯文本内容，但过程中丢失了超链接、引用等格式信息。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

WikipediaExtractor 是python下一款解析wikipedia dump的利器。根据官网的介绍，只需一行即可抽取wikipedia dump的主要内容：bzcat zhwiki-latest-pages-articles.xml.bz2 | python WikiExtractor.py -cb 250k -o extracted


但是个人在mac下使用时发现以上命令不能愉快的调用，改成类似

python WikiExtractor.py -cb1000M -o extracted enwiki-20150602-pages-articles1.xml-p000000010p000010000.bz2 可以搞定

得到一个文本文档，类似“Anarchism

最低0.47元/天 解锁文章

200万优质内容无限畅学
Wikipedia Extractor
04-16
Wikipedia Extractor 是意大利人用 Python 写的一个维基百科抽取器，使用非常方便。
WikiExtractor.py
03-07
维基百科提取器，用来提取维基百科的内容！
构建共有语料库 - Wiki 语料库
最新发布
qq_60245590的博客
05-19 337
中文Wiki语料库主要指的是从中文Wikipedia（中文维基百科）提取的文本数据。维基百科是一个自由的、开放编辑的百科全书项目，覆盖了从科技、历史到文化、艺术等广泛的主题。对于基于RAG的应用来说，把Wiki语料作为一个公有的语料库去更新大模型的知识时效，是非常有价值的，能够极大地提升模型的性能和应用范围。是一个用于从维基百科等维基媒体项目的数据库 dumps 中提取文本的工具。做文本预处理和数据清洗。文件将下载到当前目录下。
使用WikiExtractor提取维基百科语料
m0_62854342的博客
01-18 2234
2.升级到 Python 3.8 及以上版本，Python 3.8 引入了新的 multiprocessing.get start method 方法，可以方便地更改创建进程的方式。这个错误通常出现在 Windows 系统上，因为 Windows 不支持 fork方法，而 fork 是 Multiprocessing 模块默认使用的创建进程的方式。只是不符合代码的模板，不影响提取的进行，可能最后会影响提取的效果。如果你的代码中使用了 fork() 方法，那么你需要修改代码，使用其他方式创建进程。
探索知识的宝藏：Wikipedia Extractor
gitblog_00027的博客
05-25 584
探索知识的宝藏：Wikipedia Extractor 去发现同类优质开源项目:https://gitcode.com/ 项目介绍 Wikipedia Extractor 是一个高效且实用的Python脚本，由Giuseppe Attardi开发。它从维基百科的XML数据库备份中提取出纯文本内容，省去了诸如图片、表格、引用和列表等复杂元素。这个工具是为那些需要大量训练数据或希望对维基百科内容进行注...
使用WikiExtractor打造你的知识库：技术解析与应用指南
gitblog_00062的博客
03-22 766
使用WikiExtractor打造你的知识库：技术解析与应用指南 wikiextractorA tool for extracting plain text from Wikipedia dumps项目地址:https://gitcode.com/gh_mirrors/wi/wikiextractor 项目简介 是一个开源工具，由Attardi开发，用于从维基百科的XML dump文件中提取高质...
jb-wikipedia-extractor:维基百科信息提取器。 将其用作爬行插件很有用。 请注意，有一个官方 API。 本项目做http请求，返回一些无法通过官方API请求的维基百科组件
06-20
3. **Java编程**: 作为Java项目，jb-wikipedia-extractor使用Java语言编写，这意味着你需要具备一定的Java基础才能理解和使用它。Java是一种跨平台的面向对象编程语言，具有丰富的库和强大的性能，适合开发这样的...
Wikipedia Concept Extractor-开源
04-26
《Wikipedia Concept Extractor：开源语义增强工具》 在当今的信息时代，数据的语义理解和处理成为了一项至关重要的任务。Wikipedia Concept Extractor是一个开源项目，它旨在从庞大的Wikipedia知识库中提取术语和...
探索jb-wikipedia-extractor:高效维基信息爬取工具
资源摘要信息: "jb-wikipedia-extractor是一个Java编写的维基百科信息提取器工具，它作为一个爬行插件使用。该项目通过执行HTTP请求来获取维基百科的一些信息，这些信息是无法通过官方API获得的。" 知识点详述: 1....
wikiextractor使用举例
c_jia_jia的博客
05-24 1907
本文主要记录使用wikiextractor工具处理enwiki数据集。 数据集下载 处理英文维基百科的文章，数据集在数据链接内找 enwiki:Dump complete，找到后点击进入新页面，找到 enwiki-最近更新的日期-pages-articles.xml.bz2 下载，20200520更新的为16.1GB。注意，下载后不需要解压，wikiextractor可以直接处理。 wikiextractor的使用 工具链接：https://github.com/attardi/wikiextra.
WikiExtractor.py（维基百科抽取器）
qq_41648012的博客
03-31 3962
#!/usr/bin/env python # -*- coding: utf-8 -*- # ============================================================================= # Version: 2.75 (March 4, 2017) # Author: Giuseppe Attardi (attardi@di....
Wiki-Extractor：从Wikipedia数据库转储中提取纯文本的命令行工具
02-26
维基提取器 是用于从给定的Wikipedia数据库转储中提取纯文本的命令行工具。 它处理数据库转储中包含的原始Wikipedia文档，并生成一系列包含相同文档但清除了Wiki语法标记的文本文件。 这些文件可由需要大量纯文本格式的高质量文档的任何后续处理使用。 执照 此代码是根据。 学分 （与Yahoo! Research合作）针对一项创新技术进行了研究，以构建基于语义关系的问题回答系统，该工具于2007年实施。 从这种实现开始，多年来已经开发了许多其他版本的通行费。 将重要的进展合并到此存储库中将是非常好的。 就我而言，在空闲时间，我将尽力而为，并感谢您的贡献，以恢复这一有用且美观的工具的发展。
wikiextractor：从Wikipedia转储中提取纯文本的工具
02-28
WikiExtractor 是一个Python脚本，可从中提取和清除文本。 该工具是用Python编写的，不需要Python 3，但没有其他库。 警告：由于Windows上的Python实现对StringIO支持不佳， StringIO在Windows上已报告问题。 有关更多信息，请参见 。 维基百科卷云提取器 cirrus-extractor.py是从Wikipedia Cirrus转储执行提取的脚本版本。 Cirrus转储包含带有已扩展模板的文本。 Cirrus转储位于： 。 细节 WikiExtractor通过预处理整个转储并提取模板定义来执行模板扩展。 为了加快处理速度： 多重处理用于并行处理文章 缓存中保留有已解析的模板（仅适用于重复提取）。 安装 该脚本可以直接调用： python -m wikiextractor.WikiExtractor <Wikipedi
wiktextract:wiktionary转储文件解析器和多语言数据提取器
03-20
Wiktextract 这是一个实用程序和Python软件包，用于从Wiktionary提取数据。 1.99.3版现已在pypi上提供，并且可以使用pip（Python3）进行安装。可以将其视为2.0.0的测试版。 该版本无法解决所有问题。尤其是链接（hypernyms，hypernym等）和歧义消除存在我推迟发布的问题。此发行版仍是一个重大改进，应该更好地处理非英语语言，并且更易于维护。从技术上讲，这几乎是完全重写，并且现在应处理几乎所有模板以及Lua模块生成的文本和编码。 请在github上报告问题，我将尽力尽快解决。 当前提取的版本可通过以下浏览和下载： : 。我计划在此位置维护数据的自动更新版本。对于大多数人来说，获取提取的Wiktionary数据的首选方法是仅从网站上获取数据。 注意：在现代的24核台式机上，从英语Wiktionary提取所有语言的所有数据大约需要7个小时。
使用wikiextractor 提取wiki数据
ljs_a的博客
04-28 2424
wikiextractor包链接地址：https://github.com/attardi/wikiextractor 安装wikiextractor: pip install wikiextractor 然后下载wiki语料库，下载地址: https://dumps.wikimedia.org/zhwiki/latest/ 我下载的是：zhwiki-latest-pages-articles.xml.bz2 然后使用下面命令： python -m wikiextractor.WikiExtractor -
探索Wiktextract：一款强大的维基词典数据提取工具
gitblog_00035的博客
04-14 392
探索Wiktextract：一款强大的维基词典数据提取工具 在开源的世界里，有一个名为的项目，由Tatu Ylönen开发，它提供了一种高效的方法来从维基词典（Wiktionary）中提取结构化的语言数据。这款工具对于语言学者、自然语言处理研究人员以及任何对词汇信息感兴趣的人来说都是一个宝贵的资源。 项目简介 Wiktextract是一个Python库和命令行工具，其主要任务是解析维基词典的XML...
抽取wiki内容以及简体中文转换为繁体中文
一枚菜鸟的学习笔记
04-15 8894
抽取wiki内容 今天测试了网上分享的一个工具：WikiExtractor.py 这是一个抽取wiki内容的工具，是意大利人用 Python 写的一个维基百科抽取器，使用非常方便。下载Wiki Dump 之后（链接是：http://download.wikipedia.com/zhwiki/latest/zhwiki-latest-pages-articles.xml.bz2。）直接使
Wiki-Extractor：一种提取Wikipedia文本的Python工具
Wiki-Extractor是一个命令行工具，其主要功能是从Wikipedia的数据库转储中提取纯文本内容。这个过程通常涉及以下步骤：首先获取Wikipedia的XML格式的数据库转储文件，然后运行Wiki-Extractor工具来解析这些文件，并...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值