com.chenlb.mmseg4j.analysis.MMSegTokenizer重新编译

最新推荐文章于 2021-03-04 18:25:15 发布

zhangxin_07

最新推荐文章于 2021-03-04 18:25:15 发布

阅读量901

点赞数

本文链接：https://blog.youkuaiyun.com/zhangxin_07/article/details/41511701

版权

以下使用的是mmseg4j-1.9.1与lucene-4.10.2，由于在solr4.6中使用mmseg4j进行中文分词，如不对mmseg4j进行修改，将出现如下错误“TokenStream contract violation: reset()/close() call missing, reset() called multiple times, or subclass does not call super.reset(). Please see Javadocs of TokenStream class for more information about the correct consuming workflow.”；所以我们需要对mmseg4j进行重新编译，修改如下框中部分；，修改后将重新编译的class文件拖回到原来的jar包中，jar包打开方式为rar。

import org.apache.lucene.analysis.Tokenizer;
import org.apache.lucene.analysis.tokenattributes.CharTermAttribute;
import org.apache.lucene.analysis.tokenattributes.OffsetAttribute;
import org.apache.lucene.analysis.tokenattributes.TypeAttribute;

以上引用都在lucene-core-4.10.2.jar中。