使用datamachine 解析Wikipedia数据

最新推荐文章于 2020-03-17 19:05:06 发布

原创

最新推荐文章于 2020-03-17 19:05:06 发布 · 844 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#datamachine #JWPL #Wikipedia #解析数据

本文介绍了如何在Eclipse环境中使用datamachine.jar解析Wikipedia数据，解决了命令行运行时遇到的问题。通过下载所需资源，包括datamachine.jar和离线数据，然后在Eclipse中新建项目，导入外部JAR，设置Source attachment，最后运行JWPLDataMachine类的Java程序，生成的output文件夹包含了解析结果。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

背景：最近研究JWPL API工具包获取wikipedia的数据，网上发现几条有用的博文。但是均用命令行运行java实现datamachine.jar包，本人在运行时出现各种错误，从无法加载主类，到no appenders could be found.等，最后决定用eclipse运行jar包。

https://dkpro.github.io/dkpro-jwpl/DataMachine/

https://www.cs.bgu.ac.il/~elhadad/nlp12/jwpl/wikification.html

准备工作：下载好的datamachine.jar包，至少包含3个页面（page-articles.xml.bz2,pagelinks.sql.gz,categorylinks.sql.gz）的离线数据，dkpro-jwpl-master.zip(无需解压）.（所有下载来源其他博文讲解的非常清楚，可以直接下载，此处略过）

工具：eclipse

步骤：1.在eclipse中新建项目，并右键点击“properties”，选择“java build path”,"Library"一栏，“Add External JARS”,选择datamachine.jar包（原来的名称很长，此处略写），并“edit”此包的“Source attachment”,选择“dkpro-jwpl-master.zip”，如下图