中文分词工具thulac4j发布

1. 介绍

thulac4j是THULAC的Java 8工程化实现，具有分词速度快、准、强的特点；支持

• 自定义词典
• 繁体转简体
• 停用词过滤

若想在项目中使用thulac4j，可添加依赖：

<dependency>
  <groupId>io.github.yizhiru</groupId>
  <artifactId>thulac4j</artifactId>
  <version>${thulac4j.version}</version>
</dependency>

thulac4j支持中文分词与词性标注，使用示例如下：

String sentence = "滔滔的流水，向着波士顿湾无声逝去";
List<String> words = Segmenter.segment(sentence);
// [滔滔, 的, 流水, ，, 向着, 波士顿湾, 无声, 逝去]

POSTagger pos = new POSTagger("models/model_c_model.bin", "models/model_c_dat.bin");
List<SegItem> words = pos.tagging(sentence);
// [滔滔/a, 的/u, 流水/n, ，/w, 向着/p, 波士顿湾/ns, 无声/v, 逝去/v]

模型数据较大，没有放在jar包与源码。训练模型下载及更多使用说明，请参看Getting Started.

2. 测评

测评主要从效果（准确率、召回率、F1值）、性能方面进行比较，测评结果见wiki。从测评结果看出，thulac4j的兼顾效果与速率。

最后，欢迎大家使用并pull request；中文分词thulac4j的QQ交流群：373215255。

转载于:https://www.cnblogs.com/en-heng/p/6526598.html