solr中MMSEG4j、IK Analyzer中文分词器安装配置

本文详细介绍了在Jetty容器环境下安装IKAnalyzer和MMSEG4j两种Solr中文分词器的过程及解决常见问题的方法。

2种solr上的中文分词器分词方法.....分享一下我安装中所遇到的问题,跟大家一起共勉

注:我所有的安装环境都是基于Jetty容器来安装solr了,不是基于tomcat来安装的;虽然说只是安装的容器不同,但是只有在你安装的时候你才会发现,安装solr后的solr结构差异也是很大,各种相似的包,导致我在网上看到很多的分词器的安装都是基于tomcat的,弄的我最后jar文件的移动,schema.xml的配置等等全都很乱,几乎我每个lib文件夹下都有j我添加的jar包,而且都不成功,所以才打算写这篇来共享一下我使用jetty安装的solr安装分词器的步骤

首先是IK Analyzer分词器的安装(我是在MMSEG4j安装一直失败,没有办法最后就安装了IK分词器当然并不是说IK就一定比MMSEG差,只是我所需要的环境需要而已)

1.IK Analyzer的安装

到网上下载ik analyzer包,解压后得如下目录:


我们先在solr_home(我的solo_home是F:\solr-4.6.0\solr\example\solr)下新建一个lib文件夹,把上述解压后的IKAnalyzer2012FF_u1.jar文件拷贝到刚刚新建的lib文件夹中。然后把IKAnalyzer.cfg.xml和stopword.dic拷贝到F:\solr-4.6.0\solr\example\solr\collection1\conf目录下(也就是跟schema.xml同一个目录下),最后在schema.xml中增加一段配置:

  1. <fieldType name="text_ik" class="solr.TextField">   
  2.      <analyzer class="org.wltea.analyzer.lucene.IKAnalyzer"/>   
  3. </fieldType> 

最后测试中文的时候选择用text_ik(就是上述配置中fieldType name="text_ik"定义的)测试即可


2.使用MMSEG分词器安装:

    这个安装真的是费了我好大的力气。

     先下载MMSEG分词包(网上有,csdn上就有人免费提供下载,真是好人啊),解压后目录如下:


同样,我们在solr_home(我的solo_home是F:\solr-4.6.0\solr\example\solr)下新建一个dic(切记,不是上面的lib咯)文件夹,把上述dist中的3个jar文件拷贝到刚刚新建的ldic文件夹中。然后在F:\solr-4.6.0\solr\example\solr\collection1\conf\schema.xml中增加一段配置(版本较低的在dicpath=“dic”改成“dicpath=“dic文件夹所在的绝对路径”):


在你配置完后你可能会遇到一个问题(如果没遇到那就更好了),悲催的我就是遇到这个问题搞了大半天,在solr中输入中文之后使用我们上面fieldType定义好的分词器,你会出现一个bug显示:

 会提示你说有subclass没有reset();到时MMSEG使用不了,这是一个很大的问题。解决方案:我们需要找到我们之前下载到的MMSEG包;里面有一个mmseg4j-analysis文件夹,跟dist文件夹评级的。找到:F:\mmseg4j-1.9.1\mmseg4j-analysis\src\main\java\com\chenlb\mmseg4j\analysis文件夹,里面有一个MMSegTokenizer.java类,在类中加一行代码:super.reset();如图下:


最后把mmseg4j-analysis重新编译成jar文件,(这里需要用到maven来编译(需要先下载maven到本地):我把编译的命令也发给大家吧,省的找)

在windows下:进入cmd命令:进入到F:\mmseg4j-1.9.1\mmseg4j-analysis>mvn compile;然后在输入mvn package打包。

最后会在F:\mmseg4j-1.9.1\mmseg4j-analysis\target文件夹内出现一个mmseg4j-analysis-1.9.2-SNAPSHOT.jar,把这个jar覆盖原来我们拷贝到F:\solr-4.6.0\solr\example\solr\dic文件夹内,删除原来的mmseg4j-analysis-1.9.1.jar,最后在eclipse中刷新一下重新运行即可。大功告成

以上就是我安装这两个中文分词器所遇到的问题以及解决方案,共享给大家

评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值