mmseg4j分词器

介绍了Chih-Hao Tsai的MMSeg算法实现的中文分词器,该分词器可在Lucene和Solr中使用。MMSeg提供Simple和Complex两种分词模式,后者加入了额外规则以提高准确性。通过扩展Lucene Analyzer和Solr Tokenizer Factory实现了集成应用。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

1、用 Chih-Hao Tsai 的 MMSeg 算法(http://technology.chtsai.org/mmseg/)实现的中文分词器,并实现 lucene 的 analyzer 和 solr 的TokenizerFactory 以方便在Lucene和Solr中使用。

2、MMSeg 算法有两种分词方法:Simple和Complex,都是基于正向最大匹配。Complex 加了四个规则过虑。官方说:词语的正确识别率达到了 98.41%。

3、在 com.chenlb.mmseg4j.example包里的类示例了两种分词效果。

4、在 com.chenlb.mmseg4j.analysis包里扩展lucene analyzer。MMSegAnalyzer默认使用complex方式分词。

5、在 com.chenlb.mmseg4j.solr包里扩展solr tokenizerFactory。
在 solr的 schema.xml 中定义 field type如:
<fieldType name="textComplex" class="solr.TextField" >
<analyzer>
<tokenizer class="com.chenlb.mmseg4j.solr.MMSegTokenizerFactory" dicPath="dic"/>
</analyzer>
</fieldType>
<fieldType name="textSimple" class="solr.TextField" >
<analyzer>
<tokenizer class="com.chenlb.mmseg4j.solr.MMSegTokenizerFactory" mode="simple" dicPath="my_dic"/>
</analyzer>
</fieldType>

dicPath 指定词库位置(每个MMSegTokenizerFactory可以指定不同的目录,当是相对目录时,是相对 solr.home 的目录),mode 指定分词模式(simple|complex,默认是complex)。

6、运行,词典用mmseg.dic.path属性指定或在当前目录下的data目录,默认是 ./data 目录。
java -Dmmseg.dic.path=./data -jar mmseg4j-1.0.jar 这里是字符串

java -cp .;mmseg4j-1.0.jar com.chenlb.mmseg4j.example.Simple 这里是字符串

7、一些字符的处理
英文、俄文、希腊、数字(包括①㈠⒈)的分出一连串的。目前版本没有处理小数字问题
如ⅠⅡⅢ是单字分,字库(chars.dic)中没找到也单字分。

8、词库:
* data/chars.dic 是单字与语料中的频率,一般不用改动。
* data/words.dic 是词库文件,一行一词,当然你也可以使用自己的,也可以使用 sogou 词库,目录是 rmmseg 带的词库。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值