2种solr上的中文分词器分词方法.....分享一下我安装中所遇到的问题,跟大家一起共勉
注:我所有的安装环境都是基于Jetty容器来安装solr了,不是基于tomcat来安装的;虽然说只是安装的容器不同,但是只有在你安装的时候你才会发现,安装solr后的solr结构差异也是很大,各种相似的包,导致我在网上看到很多的分词器的安装都是基于tomcat的,弄的我最后jar文件的移动,schema.xml的配置等等全都很乱,几乎我每个lib文件夹下都有j我添加的jar包,而且都不成功,所以才打算写这篇来共享一下我使用jetty安装的solr安装分词器的步骤
首先是IK Analyzer分词器的安装(我是在MMSEG4j安装一直失败,没有办法最后就安装了IK分词器当然并不是说IK就一定比MMSEG差,只是我所需要的环境需要而已)
1.IK Analyzer的安装
到网上下载ik analyzer包,解压后得如下目录:
我们先在solr_home(我的solo_home是F:\solr-4.6.0\solr\example\solr)下新建一个lib文件夹,把上述解压后的IKAnalyzer2012FF_u1.jar文件拷贝到刚刚新建的lib文件夹中。然后把IKAnalyzer.cfg.xml和stopword.dic拷贝到F:\solr-4.6.0\solr\example\solr\collection1\conf目录下(也就是跟schema.xml同一个目录下),最后在schema.xml中增加一段配置:
- <fieldType name="text_ik" class="solr.TextField">
- <analyzer class="org.wltea.analyzer.lucene.IKAnalyzer"/>
- </fieldType>
最后测试中文的时候选择用text_ik(就是上述配置中fieldType name="text_ik"定义的)测试即可
2.使用MMSEG分词器安装:
这个安装真的是费了我好大的力气。
先下载MMSEG分词包(网上有,csdn上就有人免费提供下载,真是好人啊),解压后目录如下:
同样,我们在solr_home(我的solo_home是F:\solr-4.6.0\solr\example\solr)下新建一个dic(切记,不是上面的lib咯)文件夹,把上述dist中的3个jar文件拷贝到刚刚新建的ldic文件夹中。然后在F:\solr-4.6.0\solr\example\solr\collection1\conf\schema.xml中增加一段配置(版本较低的在dicpath=“dic”改成“dicpath=“dic文件夹所在的绝对路径”):
在你配置完后你可能会遇到一个问题(如果没遇到那就更好了),悲催的我就是遇到这个问题搞了大半天,在solr中输入中文之后使用我们上面fieldType定义好的分词器,你会出现一个bug显示:
会提示你说有subclass没有reset();到时MMSEG使用不了,这是一个很大的问题。解决方案:我们需要找到我们之前下载到的MMSEG包;里面有一个mmseg4j-analysis文件夹,跟dist文件夹评级的。找到:F:\mmseg4j-1.9.1\mmseg4j-analysis\src\main\java\com\chenlb\mmseg4j\analysis文件夹,里面有一个MMSegTokenizer.java类,在类中加一行代码:super.reset();如图下:
最后把mmseg4j-analysis重新编译成jar文件,(这里需要用到maven来编译(需要先下载maven到本地):我把编译的命令也发给大家吧,省的找)
在windows下:进入cmd命令:进入到F:\mmseg4j-1.9.1\mmseg4j-analysis>mvn compile;然后在输入mvn package打包。
最后会在F:\mmseg4j-1.9.1\mmseg4j-analysis\target文件夹内出现一个mmseg4j-analysis-1.9.2-SNAPSHOT.jar,把这个jar覆盖原来我们拷贝到F:\solr-4.6.0\solr\example\solr\dic文件夹内,删除原来的mmseg4j-analysis-1.9.1.jar,最后在eclipse中刷新一下重新运行即可。大功告成
以上就是我安装这两个中文分词器所遇到的问题以及解决方案,共享给大家