IKAnalyzer 自定义分词器

本文介绍如何使用Lucene全文检索框架结合IKAnalyzer实现中文分词的自定义规则,包括配置文件的修改及如何解决自定义词典编码问题。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

lucene 全文搜索框架,具体的定义在这里就不过多的介绍。那么主要讲一下,利用第三方分词器自定义我们的分成规则,IKAnalyzer 庖丁分词器就是一个很好的中文分词器。首先导入对应的jar包,我们都很清楚,配置文件是一种有效扩展的一种方式,那么IKAnalyzer也不例外。

1.首先创建一个项目

2.

2.

2.IKAnalyzer   框架创建默认初始化加载IKAnalyzer.cfg.xml配置文件中信息,在此文件中我们可以配置自己的分词器规则,如下我们创建测试类:


测试结果为:

那么我们想“高大上”是一个热门词我们想给它创建索引,此时我们只需再我们配置文件中将关键词定义就行,如下操作:

再次执行我们的测试:

由上图可知我们可以根据自己的需求定义自己的规则,在这里我遇到了一个小问题希望可以帮助到大家,在创建项目时默认为GBK,在创建自定义.dic文件时也是GBK编码,虽然定义“高大上”词,但是索引始终无“高大上”,最后知是此文件的编码问题,所以改变.dic文件为“UTF-8”,然后重新编写,运行ok,所以对于项目中遇到中文问题大家一定注意。


评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值