WEKA将英文文本数据集转换成ARFF格式

最新推荐文章于 2021-02-23 16:49:59 发布

原创最新推荐文章于 2021-02-23 16:49:59 发布 · 358 阅读

2 ·

CC 4.0 BY-SA版权

文章标签：

#weka

weka 专栏收录该内容

4 篇文章

订阅专栏

本文介绍了如何使用Weka工具将文本数据集转化为ARFF格式，包括数据集布局要求、命令行操作流程及对中文文本数据的处理限制。详细解释了TextDirectoryToArff和TextDirectoryLoader的使用方法，以及生成ARFF文件后的关键信息展示。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

摘自：http://blog.163.com/jiayouweijiewj@126/blog/static/1712321772011113102710492/

利用Weka转化英文文本数据需要用到两个工具：TextDirectoryToArff和TextDirectoryLoader。
TextDirectoryToArff是一个JAVA类（Class），它负责将一个目录文件中的文本数据转换到一个ARFF文件中。
TextDirectoryLoader是一个转换器（Converter），它是基于TextDirectoryToArff类的，并且处于weka.core.converters包中。
首先，转换之前，需要将文本数据集按照TextDirectoryLoader转换器所要求形式布局：一个文件夹自己命名（例如：20news），其中一类一个文件夹，文件夹名字是类标签，每类文件夹里一篇文档是一个文件。

其次，将文件夹（20news）放置在weka根目录下，利用Weka的命令行界面（Simple CLI）输入以下命令：
java weka.core.converters.TextDirectoryLoader -dir 20news > 20news.arff

之后会在Weka根目录下生成了一个20news.arff文件，这说明文本数据已经成功地转换成了Weka需要的ARFF文件。
从20news.arff文件内容可以发现20news文件夹下的子文件夹名变成了每个文档的类标记。

该方法对于中文文本数据不适用，生成的ARFF中的中文会变成乱码，需要修改Weka的源码才能实现对中文文本数据的处理。