From:http://palydawn.blog.163.com/blog/static/18296905620124171155256/
Keywords: 文本分类 分词 停用词 文本特征 特征向量 布隆过滤器 ICTCLAS
1. 序言
最近一直在做文本分类的实验,查阅了很多文章和资料后,大概清楚了文本分类的整体流程。根据查阅到的资料,编写了一个简单的文本分类程序,对这些工作,在这篇文章中做个总结。
2. 文本分类过程
2.1 实验样本选择
训练样本和测试样本使用的是"tc-corpus-answer.rar"中的txt文件,很早之前下载的,忘了具体是什么了,好像是人民日报的语料库,在里面挑选了4种类型(C7-History, C19-Computer, C32-Agriculture, C39-Sports)的文档用来做训练和测试。
表1 测试样本和训练样本数
2.2 文本分类流程图
图1左边部分是对训练样本的处理过程。
图1右边部分是对测试样本的处理过程。
图1 文本分类过程
2.3 训练样本处理
2.3.1 训练样本分词
分词的目的是将文档分割成一个个的单词。实验中用的分词器是中科院的"ICTCLAS",号称是最好的汉语分词器,分词率9x.xx%(具体多少忘了,反正标的很高),测试了一下,效果不是他说的那么好(9x.xx%肯定是达不到的),不过网上貌似也没找到其他的分词器可以用了(可能有我不知道吧,懒得查了,就用这个)。"ICTCLAS"的分词效果虽然不如宣传的那样好,但是做实验用足够了。郁闷的是从官网上下下来的最新的"ICTCLAS50_Windows_32_C.rar"中包含的API文档和头文件"ICTCLAS50.h"中的接口不一样,很明显文档时很久以前的,把更新了的程序和古老的文档一起打包发布,不知道是什么原因。在官方网站上看到,"ICTCLAS"号称是开源的,下下来之后才发现,只有一个头文件,提供了几个简单的接口,用起来很不方便、不灵活。
2.3.2 去"停
Keywords: 文本分类 分词 停用词 文本特征 特征向量 布隆过滤器 ICTCLAS
1. 序言
最近一直在做文本分类的实验,查阅了很多文章和资料后,大概清楚了文本分类的整体流程。根据查阅到的资料,编写了一个简单的文本分类程序,对这些工作,在这篇文章中做个总结。
2. 文本分类过程
2.1 实验样本选择
训练样本和测试样本使用的是"tc-corpus-answer.rar"中的txt文件,很早之前下载的,忘了具体是什么了,好像是人民日报的语料库,在里面挑选了4种类型(C7-History, C19-Computer, C32-Agriculture, C39-Sports)的文档用来做训练和测试。
表1 测试样本和训练样本数
2.2 文本分类流程图
图1左边部分是对训练样本的处理过程。
图1右边部分是对测试样本的处理过程。
图1 文本分类过程
2.3 训练样本处理
2.3.1 训练样本分词
分词的目的是将文档分割成一个个的单词。实验中用的分词器是中科院的"ICTCLAS",号称是最好的汉语分词器,分词率9x.xx%(具体多少忘了,反正标的很高),测试了一下,效果不是他说的那么好(9x.xx%肯定是达不到的),不过网上貌似也没找到其他的分词器可以用了(可能有我不知道吧,懒得查了,就用这个)。"ICTCLAS"的分词效果虽然不如宣传的那样好,但是做实验用足够了。郁闷的是从官网上下下来的最新的"ICTCLAS50_Windows_32_C.rar"中包含的API文档和头文件"ICTCLAS50.h"中的接口不一样,很明显文档时很久以前的,把更新了的程序和古老的文档一起打包发布,不知道是什么原因。在官方网站上看到,"ICTCLAS"号称是开源的,下下来之后才发现,只有一个头文件,提供了几个简单的接口,用起来很不方便、不灵活。
2.3.2 去"停