org.apache.lucene.analysis.TokenStream.incrementToken()Z 错误

最新推荐文章于 2021-04-09 05:34:06 发布
原创 最新推荐文章于 2021-04-09 05:34:06 发布 · 282 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#Apache #lucene #SVN

org.apache.lucene.analysis.TokenStream.incrementToken()Z

今天在lucene3.0.2 跟 paoding 2.0.4 搭配的时候，出现了这个错误

经一番搜索，都说是庖丁分词跟3.0lucene不搭配...

然后又查到说可以去

http://paoding.googlecode.com/svn/trunk/paoding-analysis/：[url]http://paoding.googlecode.com/svn/trunk/paoding-analysis/[/url]

下载..

删除原来的2.0.4的jar包，然后把 这个src下的源代码直接加入工程

之后这个错误真的没了.....
lucene org.apache
08-26
org.apache.lucene.analysis.cjk.CJKAnalyzer .......
lorg, Apache日志文件安全分析器.zip
09-18
lorg, Apache日志文件安全分析器 LORG用于高级日志日志文件安全性分析和取证的工具Web服务器日志文件是重建事件的主要来源，如果网站受到pwned的影响，则会导致事件。 然而，从大型文件中提取相关信息是一项艰巨的任务。 LORG是一个针对安全专业人员和管理员的工具
org.apache.lucene.analysis.TokenStream.incrementToken()Z
奋斗的小马
10-25 628
在使用lucene3与IKAnalyzer集成的时候可能会出现以下错误： Exception in thread "main" java.lang.AbstractMethodError: org.apache.lucene.analysis.TokenStream.incrementToken()Z at org.apache.lucene.index.DocInverterPerFi...
Php lucene 分词 2016,lucene分词器中的Analyzer,TokenStream, Tokenizer, TokenFilter
weixin_39795065的博客
04-09 208
分词器的核心类：Analyzer:分词器TokenStream:分词器做好处理之后得到的一个流。这个流中存储了分词的各种信息，可以通过TokenStream有效的获取到分词单元。以下是把文件流转换成分词流(TokenStream)的过程首先，通过Tokenizer来进行分词，不同分词器有着不同的Tokenzier，Tokenzier分完词后，通过TokenFilter对已经分好词的数据进行过滤，比...
基于Lucene3.5.0如何从TokenStream获得Token
热门推荐
hiphopmattshi的专栏
02-01 1万+
通过学习Lucene3.5.0的doc文档，对不同release版本 lucene版本的API改动做分析。最后找到了有价值的改动信息。 LUCENE-2302: Deprecated TermAttribute and replaced by a new CharTermAttribute. The change is backwards compatible, so mixed new/old
Lucene token解析
墨竹
08-25 1553
Lucene模块分析： Lucene的 analysis 模块主要负责词法分析及语言处理而形成Term. Lucene的 index 模块主要负责索引的创建，里面有IndexWriter. Lucene的 store 模块主要负责索引的读写。 Lucene的 QueryParser 主要负责语法分析。 Lucene的 search 模块主要负责对索引的
org.apache.lucene.analysis.TokenStream maven
05-24
org.apache.lucene:lucene-analyzers-common 包含了 Lucene 的分词器，其中就包括了 TokenStream。你可以在 Maven 中添加以下依赖来使用： ``` <groupId>org.apache.lucene <artifactId>lucene-analyzers-common...
包的功能package lk_demo.lucene_demo; import org.apache.lucene.analysis.Analyzer; import org.apache.lucene.analysis.TokenStream; import org.apache.lucene.analysis.core.StopAnalyzer; import org.apache.lucene.analysis.standard.StandardAnalyzer; import org.apache.lucene.analysis.tokenattributes.CharTermAttribute; import org.wltea.analyzer.lucene.IKAnalyzer; import java.io.IOException; import java.io.StringReader;
05-25
这个包的功能主要是使用 Lucene 搜索引擎进行分词和分析文本数据。其中包含了多个分词器（Analyzer），如标准分词器（StandardAnalyzer）、停用词分词器（StopAnalyzer）和 IK 分词器（IKAnalyzer）。通过调用不同的...
The import org.apache.lucene.document.LongPoint cannot be resolved
09-13
import org.apache.lucene.analysis.TokenStream; import org.apache.lucene.analysis.cn.smart.SmartChineseAnalyzer; import org.apache.lucene.document.Document; import org.apache.lucene.index....
package com.boe.cim.teacher.luence; import java.io.StringReader; import java.nio.file.Paths; import java.text.SimpleDateFormat; import java.util.ArrayList; import java.util.List; import org.apache.lucene.analysis.TokenStream; import org.apache.lucene.analysis.cn.smart.SmartChineseAnalyzer; import org.apache.lucene.document.Document; import org.apache.lucene.index.DirectoryReader; import org.apache.lucene.index.IndexReader; import org.apache.lucene.index.Term; import org.apache.lucene.queryparser.classic.QueryParser; import org.apache.lucene.search.BooleanQuery; import org.apache.lucene.search.IndexSearcher; import org.apache.lucene.search.Query; import org.apache.lucene.search.ScoreDoc; import org.apache.lucene.search.TopDocs; import org.apache.lucene.search.WildcardQuery; import org.apache.lucene.search.highlight.Fragmenter; import org.apache.lucene.search.highlight.Highlighter; import org.apache.lucene.search.highlight.QueryScorer; import org.apache.lucene.search.highlight.SimpleHTMLFormatter; import org.apache.lucene.search.highlight.SimpleSpanFragmenter; import org.apache.lucene.search.BooleanClause; import org.apache.lucene.store.Directory; import org.apache.lucene.store.FSDirectory; import org.apache.lucene.document.LongPoint; import com.boe.cim.teacher.pojo.RequirementInfo; public class LuceneSearchRequirement { /** * @param indexreDir * 索引文件路径path * @param queryField * 被索引字段 Field * @param queryMsg * 索引值 * @return * @throws Exception */ public List<RequirementInfo> search(String indexreDir, String queryField, String queryMsg) throws Exception { // 得到读取索引文件的路径 Directory dir = FSDirectory.open(Paths.get(indexreDir)); // 通过dir得到的路径下的所有的文件 // 建立索引查询器 IndexReader reader = DirectoryReader.open(dir); IndexSearcher searcher = new IndexSearcher(reader); // 中文分词器 SmartChineseAnalyzer analyzer = new SmartChineseAnalyzer(); // ======== 新增：日期范围查询处理 ======== Query dateQuery = null; if ("requirementtime".equals(queryField)) { SimpleDateFormat sdf = new SimpleDateFormat("yyyy-MM-dd"); long minTime = sdf.parse(queryMsg).getTime(); dateQuery = LongPoint.newRangeQuery("time", minTime, Long.MAX_VALUE); } // 建立查询解析器 /** * 第一个参数是要查询的字段； 第二个参数是分析器Analyzer */ // QueryParser parser = new QueryParser(queryField, analyzer); // 根据传进来的par查找 // Query query = parser.parse(queryMsg); // Query query = new TermQuery(new Term("teacher",queryMsg)); // Query query = new WildcardQuery(new Term(queryField,"*"+queryMsg+"*")); Query query; //这四种类型需要特别匹配，不需要分词器进行搜索 if(queryField.equals("requirement") || queryField.equals("department") || queryField.equals("liaisonman") || queryField.equals("requirementtype") ) { query = new WildcardQuery(new Term(queryField,"*"+queryMsg+"*")); }else { QueryParser parser = new QueryParser(queryField, analyzer); query = parser.parse(queryMsg); } // ======== 新增：组合日期查询 ======== if (dateQuery != null) { BooleanQuery.Builder builder = new BooleanQuery.Builder(); builder.add(query, BooleanClause.Occur.MUST); builder.add(dateQuery, BooleanClause.Occur.MUST); query = builder.build(); } // 计算索引开始时间 long start = System.currentTimeMillis(); // 开始查询 /** * 第一个参数是通过传过来的参数来查找得到的query； 第二个参数是要出查询的行数 */ TopDocs topDocs = searcher.search(query, 104); // 索引结束时间 long end = System.currentTimeMillis(); System.out.println("匹配:["+queryField+"]," + queryMsg + ",总共花费了" + (end - start) + "毫秒,共查到" + topDocs.totalHits + "条记录。"); // 高亮显示start // 算分 QueryScorer scorer = new QueryScorer(query); // 显示得分高的片段 Fragmenter fragmenter = new SimpleSpanFragmenter(scorer); // 设置标签内部关键字的颜色 // 第一个参数：标签的前半部分；第二个参数：标签的后半部分。 SimpleHTMLFormatter simpleHTMLFormatter = new SimpleHTMLFormatter("<b><font color='red'>", "</font></b>"); // 第一个参数是对查到的结果进行实例化；第二个是片段得分（显示得分高的片段，即摘要） Highlighter highlighter = new Highlighter(simpleHTMLFormatter, scorer); // 设置片段 highlighter.setTextFragmenter(fragmenter); // 高亮显示end // 遍历topDocs /** * ScoreDoc:是代表一个结果的相关度得分与文档编号等信息的对象。 scoreDocs:代表文件的数组 * * @throws Exception */ List<RequirementInfo> listinfo = new ArrayList<>(); for (ScoreDoc scoreDoc : topDocs.scoreDocs) { RequirementInfo requirementinfo = new RequirementInfo(); // 获取文档 Document document = searcher.doc(scoreDoc.doc); // 输出全路径 String id = document.get("id"); String queryType = document.get(queryField); requirementinfo.setId(Integer.parseInt(id)); if (id != null) { // 把全部得分高的摘要给显示出来 // 第一个参数是对哪个参数进行设置；第二个是以流的方式读入 TokenStream tokenStream = analyzer.tokenStream(queryField, new StringReader(queryType)); // 获取最高的片段 String highlighterString; if(queryField.equals("requirement") || queryField.equals("department") || queryField.equals("liaisonman") || queryField.equals("requirementtype") ) { highlighterString = queryType.replaceAll(queryMsg, "<b><font color='red'>"+queryMsg+"</font></b>"); }else { highlighterString = highlighter.getBestFragment(tokenStream, queryType); } // String highlighterString = highlighter.getBestFragment(new SmartChineseAnalyzer(), queryField, queryType); //设置高亮字段 switch (queryField) { // 根据搜索条件进行赋值 case "requirement": //需求名称 requirementinfo.setRequirement(highlighterString); break; case "department": //需求组织 requirementinfo.setDepartment(highlighterString); break; case "liaisonman": //需求联系人 requirementinfo.setLiaisonman(highlighterString); break; case "requirementtype": //需求类型 requirementinfo.setRequirementtype(Integer.parseInt(highlighterString.replaceAll("<[^>]+>", ""))); break; case "requirementcontents": //需求内容 requirementinfo.setRequirementcontents(highlighterString); break; case "requirementbackground": //需求背景 requirementinfo.setRequirementbackground(highlighterString); break; } listinfo.add(requirementinfo); } } reader.close(); return listinfo; } } 修改后报错The import org.apache.lucene.document.LongPoint cannot be resolved
最新发布
09-13
### 解决`org.apache.lucene.document.LongPoint`导入错误 出现导入错误通常有三种原因及解决方案： #### ✅ 方法1：检查Lucene版本兼容性 (推荐优先尝试) **LongPoint类需要Lucene 6.0+版本**： ```java // 验证...
IK分词源码讲解（七）-TokenStream以及incrementToken属性处理
a925907195的专栏
12-11 6658
首先介绍下在lucene中attributeSource的类层次： org.apache.lucene.util.AttributeSource ·        org.apache.lucene.analysis.TokenStream (implementsjava.io.Closeable) ·        org.apache.lucene.analysis.NumericTok
配置Paoding分词时出现的错误：java.lang.AbstractMethodError: org.apache.lucene.analysis.TokenStream.incrementTo
epitomizelu的专栏
12-15 2614
出现异常： 在使用lucene3与paoding集成的时候可能会出现以下错误： Exception in thread "main" java.lang.AbstractMethodError: org.apache.lucene.analysis.TokenStream.incrementToken()Z  at org.apache.lucene.index.DocInverterPer
ClassNotFoundException: org.apache.lucene.analysis.tokenattributes.CharTermAttribute
yasuuu.taobao.com
02-29 3473
solr1.4.1版本加入mmseg4j-1.8.5版本分词器分词的时候报下面的错误 解压原包C:\solrwork\mmseg4j-1.8.5\mmseg4j-all-1.8.5.jar  确实没有org/apache/lucene/analysis/tokenattributes/CharTermAttribute路径 查看 http://code.google.com/p/mmseg
Lucene中的Tokenizer, TokenFilter学习
一个有趣、有料、有内涵的地方!
07-21 417
Lucene中的TokenStream，TokenFilter之间关系 TokenStream是一个能够在被调用后产生语汇单元序列的类，其中有两个类型：Tok...
Lucene3与中文分词
张航的博客
08-02 2016
尝试极易分词 jeanalyzer 出错 异常信息：java.lang.NoSuchMethodError: org.apache.lucene.analysis.StopFilter.(Lorg/apache/lucene/analysis/TokenStream;Ljava/util/Set;Z)V 尝试半天怎么都异常，搜到原因，极易分词只与 lucene 1.9-2.4版兼容。 低版不
关于java.lang.NoClassDefFoundError: org/apache/lucene/analysis/Analyzer错误的追查
qwe3642的博客
07-30 7369
这几天在自己做全文索引这个功能，写功能完成之后出现了该错误 [org.springframework.web.context.ContextLoader]-Context initialization failed java.lang.NoClassDefFoundError: org/apache/lucene/analysis/Analyzer at java.lang.Class.ge...
Lucene 5 TokenStream
weixin_33953249的博客
03-02 112
2019独角兽企业重金招聘Python工程师标准>>> ...
Ubuntu下配置出现error: Cannot find MySQL header files 的解决
Ruby and Java..
10-19 381
apt-get install libmysqlclient16-dev
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值