在lucene中加入mmseg分词器错误

最新推荐文章于 2025-08-10 14:29:07 发布
最新推荐文章于 2025-08-10 14:29:07 发布
阅读量2.2k 收藏
点赞数
CC 4.0 BY-SA版权
文章标签： lucene java exception thread
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/ArthurBryant/article/details/5884162
本文解决了一个关于mmseg4j-1.8.2与Lucene-3.0.2结合使用时出现的AbstractMethodError错误。该问题源于Lucene版本不匹配导致的API不兼容。解决方案是将Lucene版本回退到2.9.3。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

mmseg4j-1.8.2

Lucene-3.0.2

出现如下错误：

 

Exception in thread "main" java.lang.AbstractMethodError: org.apache.lucene.analysis.TokenStream.incrementToken()Z

at org.apache.lucene.index.DocInverterPerField.processFields(DocInverterPerField.java:137)

at org.apache.lucene.index.DocFieldProcessorPerThread.processDocument(DocFieldProcessorPerThread.java:246)

at org.apache.lucene.index.DocumentsWriter.updateDocument(DocumentsWriter.java:821)

at org.apache.lucene.index.DocumentsWriter.addDocument(DocumentsWriter.java:797)

at org.apache.lucene.index.IndexWriter.addDocument(IndexWriter.java:1981)

at org.apache.lucene.index.IndexWriter.addDocument(IndexWriter.java:1955)

at ict.ncic.Index.fileindexBuilder(Index.java:134)

at ict.ncic.Index.subindexBuilder(Index.java:70)

at ict.ncic.Index.indexBuilder(Index.java:53)

at ict.ncic.Index.main(Index.java:36)

lucene.org资料:
  • 2.9.3 is a bugfix release for the Lucene Java 2.x series, based on Java 1.4.
  • 3.0.2 has the same bug fix level but is for the Lucene Java 3.x series, based on Java 5.

New users of Lucene are advised to use version 3.0.2 for new developments, because it has a clean, type-safe API.

Solution:
使用Lucene2.9.3.
Ok.

ArthurBryant
关注
Lucene（6）：分词器
u013938578的博客
05-23 887
比如语气助词、副词、介词、连接词等，通常自身并无明确的意义，只有将其放入一个完整的句子中才有一定作用，如常见的“的”、“在”、“是”、“啊”等。输入关键字进行搜索，当需要让该关键字与文档域内容所包含的词进行匹配时需要对文档域内容进行分析，需要经过Analyzer分析器处理生成语汇单元（Token）。对搜索关键字进行分析和索引分析一样，使用Analyzer对搜索关键字进行分析、分词处理，使用分析后每个词语进行搜索。在对Document中的内容进行索引之前，需要使用分词器进行分词 ，分词的目的是为了搜索。
关于MMSEG分词算法
foxman209的专栏
09-10 1834
MMSEG是中文分词中一个常见的、基于词典的分词算法（作者主页：http://chtsai.org/index_tw.html），简单、效果相对较好。由于它的简易直观性，实现起来不是很复杂，运行速度也比较快。关于算法的原文，可以参 见：http://technology.chts
IKAnalyzer中文分词器V2012使用手册
03-13
采用了特有的“正向迭代最细粒度切分算法“，具有60万字/秒的高速处理能力。 采用了多子处理器分析模式，支持：英文字母（IP地址、Email、URL）、数字（日期，常用中文数量词，罗马数字，科学计数法），中文词汇（姓名、地名处理）等分词处理。 优化的词典存储，更小的内存占用。支持用户词典扩展定义 针对Lucene全文检索优化的查询分析器IKQueryParser(作者吐血推荐)；采用歧义分析算法优化查询关键字的搜索排列组合，能极大的提高Lucene检索的命中率。
lucene5.5根据现有分词器改造做同义词分词器
liuvlun的专栏
04-01 846
lucene5之后版本有了较大的改动，现将lucene5的同义词分词器改造代码和方式，记录一下 功能加测试的类一共6个，一一介绍一下 1 同义词分词器类SameWordAnalyzer 2 同义词过滤器类SameWordFilter 3 根据词语获取同义词引擎接口SameWordEngine 4 同义词引擎接口实现类SameWordEngineImpl 5 分词器分词分析工具类 Ana
lucene分词器比较
无
06-23 382
摘要：本文介绍了14种文本分析器（Analyzer）的功能特点，主要包括：StopAnalyzer（停用词过滤及大小写转换）、StandardAnalyzer（多语言支持）、SimpleAnalyzer（西文基础处理）等Lucene内置分析器，以及CJKAnalyzer、IKAnalyzer等中文分词器。重点说明了中文处理方案如ICTCLAS4J（基于中科院算法）、PaodingAnalysis（高效分词）和MMSeg4J（最大匹配算法）等第三方工具的特性。
Lucene中文分词mmseg4j
任何技能都是从模仿开始，逐步升华。
06-23 1996
mmseg4j 用 Chih-Hao Tsai 的 MMSeg 算法实现的中文分词器，并实现 lucene 的 analyzer 和 solr 的TokenizerFactory 以方便在Lucene和Solr中使用。
java lucene分词器,7、自定义分词和中文分词（lucene笔记）
weixin_33111267的博客
03-13 896
一、自定义分词器这里我们自定义一个停用分词器，也就是在进行分词的时候将某些词过滤掉。MyStopAnalyzer.javapackage cn.itcast.util;import java.io.Reader;import java.util.Set;import org.apache.lucene.analysis.Analyzer;import org.apache.lucene.analy...
Lucene的Field域、分词器
huangyh技术栈
11-13 1164
1.1 分词器介绍  在对文档（Document）中的内容进行索引前，需要对域（Field）中的内容使用分析对象（分词器）进行分词 。分词的目的是为了索引，索引的目的是为了搜索。过程是先分词，再过滤。 分词：将Document中Field域的值切分成一个一个的单词。具体的切分方法（算法）根据使用的 分词器而不同。 过滤：去除标点符号，去除停用词（的、啊、是、is、the、a等），词的大写转...
elasticsearch的mmseg分词器安装包
07-13
综上，MMSEG分词器在Elasticsearch中的应用能够显著提升中文数据处理的效率和准确性，同时也为其他语言提供了可能性。正确安装和配置MMSEG分词器，是优化Elasticsearch中文搜索体验的重要一环。
基于mmseg算法的轻量级Java中文分词器源码
09-27
同时，它还提供了与当前流行的全文搜索引擎和框架如Lucene、Solr、Elasticsearch的兼容接口，这意味着它可以直接嵌入到这些系统中，或是作为这些系统的一个分词处理组件进行使用，极大地扩展了分词器的应用场景。...
基于mmseg算法的轻量级Java中文分词器设计源码
09-25
该项目为基于mmseg算法开发的轻量级Java中文分词器，源码包含205个文件，涵盖143个Java源文件、29个Lex定义文件、8个XML文件、6个Markdown文件、4个属性文件、3个PNG图片文件、2个策略文件以及1个Git忽略文件。...
Lucene支持中文分词代码实现
学亮编程手记
08-18 1068
支持中文分词 分析器（Analyzer）的执行过程 如下图是语汇单元的生成过程： 从一个Reader字符流开始，创建一个基于Reader的Tokenizer分词器，经过三个TokenFilter生成语汇单元Token。 要看分析器的分析效果，只需要看Tokenstream中的内容就可以了。每个分析器都有一个方法tokenStream，返回一个tokenStream对象。 分析器的分...
中文分词器
年轻就是资本的专栏
06-25 659
什么是中文分词器 学过英文的都知道，英文是以单词为单位的，单词与单词之间以空格或者逗号句号隔开。而中文则以字为单位，字又组成词，字和词再组成句子。所以对于英文，我们可以简单以空格判断某个字符串是否为一个单词，比如I love China，love和China很容易被程序区分开来；但中文“我爱中国”就不一样了，电脑不知道“中国”是一个词语还是“爱中”是一个词语。把中文的句子切分成有意义的词，就...
Elasticsearch mmseg分词器：中文与多语言分词解决方案
mmseg分词器在Elasticsearch中的实现，就是为了在Elasticsearch的基础上增加一个强大的中文分词能力。 mmseg分词器除了支持中文分词外，还支持英文分词，以及维语分词。这使得Elasticsearch的应用范围进一步扩大。...
【LLM实战|langchain、qwen_agent】RAG高级
胡侃有料的博客
08-08 650
RAG高级。
【lucene】lucene索引文件的读取器都是单向的只能向前不能后退读
最新发布
risc123456的博客
08-10 166
*凡是通过 `IndexInput`/`IndexOutput` 的 `readXxx / writeXxx` 系列方法读写的底层流** 都是**单向顺序或随机定位**；这里**不是顺序流**，而是 **“按 docId 随机 seek”**，但也**不会回退到比当前 doc 更小的位置**。→ 你可以随时 `seek(pos)` 到任意字节位置，**可以前后跳**，但这是**底层字节流**；→ 同样支持按 docId **随机 seek**，但读出的迭代器依旧**单向**。→ **单向、不可回退**。
【lucene】HitsThresholdChecker命中阈值检测器
risc123456的博客
08-09 309
`scoreMode()`：根据 `totalHitsThreshold` 的值返回 `ScoreMode`，如果阈值为 `Integer.MAX_VALUE`，则返回 `ScoreMode.COMPLETE`，否则返回 `ScoreMode.TOP_SCORES`。- `scoreMode()`：根据 `totalHitsThreshold` 的值返回 `ScoreMode`，逻辑与 `GlobalHitsThresholdChecker` 相同。如果达到阈值，可以提前终止搜索，节省资源。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值