IKAnalyzer 扩展词典(强制分词)

本文详细介绍了如何使用Solr+IKAnalyzer配置中文分词,并通过自定义词典实现特定词语整合处理的方法,包括配置IKAnalyzer.cfg.xml、创建mydict.dic文件及确保文件编码正确,最终通过重启Solr实现分词效果。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

前面说到solr+IKAnalyzer来配置中文分词;在实际中我们有些需求是需要将特定的词作为一个分词来处理,那么我们就需要设置自己的词典

例子:连帽上衣

希望将 “连帽” 作为一个词来处理,并不希望作为 连,帽 来处理


默认分词:



做法:

IKAnalyzer.cfg.xml放到solr的tomcat中:..../webapp/WEB-INF/classes/IKAnalyzer.cfg.xml,并配置 IKAnalyzer.cfg.xml文件

<?xml version="1.0" encoding="UTF-8"?>
<!DOCTYPE properties SYSTEM "http://java.sun.com/dtd/properties.dtd">  
<properties>  
	<comment>IK Analyzer 扩展配置</comment>
	<!--用户可以在这里配置自己的扩展字典--> 
	<entry key="ext_dict">/mydict.dic;</entry> 
	 
	 <!--用户可以在这里配置自己的扩展停止词字典-->
	<entry key="ext_stopwords">/ext_stopword.dic</entry> 
	
</properties>

我是将 mydict.dic 文件和 IKAnalyzer.cfg.xml 放在同一个目录,也可以放在别的地方,配置好路径就可以了

mydict.dic 文件中就只有“连帽” 这个词;

经典问题来了:mydict.dic 必须是 utf-8 的无BOM格式编码。

配置好之后重启solr,再次查看分词:


这样连帽就能匹配的到了。

搞了好久,才知道是文件的编码格式不对。我日的,还必须是无BOM格式。


评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值