中文分词工具

最新推荐文章于 2020-09-02 16:06:19 发布

原创最新推荐文章于 2020-09-02 16:06:19 发布 · 1k 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#工具 #rmmseg #lucene #performance #java #features

科研专栏收录该内容

2 篇文章

订阅专栏

本文介绍了四个中文分词工具：ictcas提供Java、LinuxC、WindowsC版本；imdict-chinese-analyzer是ictclas的Java重实现，适配lucene；LingPipe是用于人类语言分析的Java库，支持学习和下载模型；rmmseg-cpp是高性能的Ruby中文分词工具，适用于Ferret和普通Ruby程序。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

最近从头开始对复旦大学以及搜狗的数据进行分词。

关于分词工具，下载地址总结如下

1 ictcas 包括Java，LinuxC， WindowsC 的版本均在 http://www.ictclas.org/index.html 有下载。

2　imdict-chinese-analyzer 是 imdict智能词典的智能中文分词模块，作者高小平，算法基于隐马尔科夫模型(Hidden Markov Model, HMM)，是中国科学院计算技术研究所的ictclas中文分词程序的重新实现（基于Java），可以直接为lucene搜索引擎提供中文分词支持。也可以在 http://www.ictclas.org/index.html 下载。

3 LingPipe is a suite of Java libraries for the linguistic analysis of human language. http://alias-i.com/lingpipe/index.html。这个工具中的分词部分中，可以通过学习形成模型，或者从网站上下载模型。

rmmseg-cpp is a high performance Chinese word segmentation utility for
Ruby. It features full Ferret integration
as well as support for normal Ruby program usage.

rmmseg-cpp is a re-written of the original
RMMSeg gem in C++. RMMSeg is written
in pure Ruby. Though I tried hard to tweak RMMSeg, it just consumes
lots of memory and the segmenting process is rather slow.下载地址http://rmmseg.rubyforge.org/