这篇博客对比了Python下的结巴中文分词和NLPIR/ICTCLAS2014在分词效果和速度上的表现。通过实例测试发现，结巴分词在某些情况下效果优于NLPIR/ICTCLAS2014，但NLPIR/ICTCLAS2014速度快出约1000倍。对于科研可能适合使用结巴分词，但在产品环境中推荐NLPIR/ICTCLAS2014。
一 安装和测试Python下的中文分词工具
参考http://hi.baidu.com/fooying/item/6ae7a0e26087e8d7eb34c9e8
的帖子“四款python中文分词系统简单测试”。
从评测的结果来看
在Python下可以采用的较好的中文分词工具是结巴中文分词和中科院的分词系统。
对于这两个工具进行测试。
1 安装结巴中文分词工具
在32位，Windows7 ，Python2.7下安装最新的结巴中文分词工具。
具体步骤：
（1）下载链接https://github.com/fxsjy/jieba，内含安装说明
（2）下载后解压缩到目录下，如C:/ jieba-master
（3）进入目录下，执行指令python setup.py install，完成安装
（4）进行测试，与Java下的NLPIR/ICTCLAS2013进行比较
最低0.47元/天 解锁文章
扫一扫
6322
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
