lucene-使用Highlighter高亮显示查询项

Lucene学习之高亮显示 在搜索引擎中我们经常会看到这样的情景: 红色部分我们称之为高亮显示,lucene提供了HighLighter模块来实现这一功能。 高亮显示模块通常包含两个独立的功能,首先是动态拆分,就是从匹配搜索的大量文本中选取一小部分句子。第二个内容就是高亮显示。 我们先来看下高亮显示的原理: 一、TokenSources:IndexReader reader = DirectoryReader.op 阅读详情

1、Highlighte包含三个主要部分:

1)段划分器:Fragmenter

2)计分器:Scorer

3)格式化器:Formatter

2、不仅需要你提供记分器和需要高亮显示的文本,还需要一个TokenStream实例。这个TokenStream实例由分析器生成。我们提供的文本用于生成TokenStream,这个TokenStream被用作高亮显示的原始文本。

3、Highlighter利用Fragmenter将原始文本分割成片段,大小可控制

4、QueryScorer为内置的计分器,基于项的加权因子给片段加权。必须对查询的原始形式进行重写,以便QueryScorer使用,被重写为BooleanQuery中所使用的项。在将Query实例传递到QueryScorer之前,可以调用Query.rewrite(IndexReader)方法来重写Query对象。

5、格式化器用于装饰项文本。不指定格式化器,会默认使用内置的SimpleHTMLFormatter。

6、示例

public static void main(String[] args) throws IOException{

   Stringfilename=args[0];

   if (filename==null){

        System.err.println("USAGE:HighlightIt<filename>");

        System.exit(-1);

   }

   TermQuery query=newTermQuery(new Term("f","ipsum"));

   QueryScorer scorer=newQueryScorer(query);

  //定义标注高亮文本的标签  

   SimpleHTMLFormatterformatter=

        new SimpleHTMLFormatter("<span Highlighter highlighter=newHighlighter(formatter,scorer);

   Fragmenterfragmenter=new SimpleFragmenter(50);//减少片断的默认大小

   highlighter.setTextFragmenter(fragmenter);

   //原始文本语汇单元化

   TokenStream tokenstream=newStandardAnalyzer().tokenStream("f",new StringReader(text));

   //高亮显示5个匹配最好的片断

   Strinresult=highlighter.getBestFragments(tokenstream,text,5,"...");

   FileWriter writer=newFileWriter(filename);

  writer.write("<html>");

   //写入用于高亮显示的HTML

   writer.write("<style>/n"+".highlight{/n"+"backgroud:yellow;/n"+"}/n"+"</style>");

  writer.write("<body>");

   writer.(result);

   writer.write("</body></html>");

   writer.close();

} 

 

 

 

具体使用说明如下:

1)建立索引时,在文档相关字段记录词条的位置

             Field f = new Field(FIELD_NAME, text ,

                                   Field.Store.YES, Field.Index.TOKENIZED,

                                   Field.TermVector.WITH_POSITIONS_OFFSETS);

              d.add(f);

2)构造HighLighter对象

     Highlighter highlighter =new Highlighter(new QueryScorer(query));

3)设置文本分块

highlighter.setTextFragmenter(new SimpleFragmenter(20));

建立TermPositionVector 对象

TermPositionVector tpv = (TermPositionVector)reader.getTermFreqVector(hits.id(i),FIELD_NAME);//hits.id(i)返回文档编号

 

4)设定分隔

                  int maxNumFragmentsRequired = 3;

                     String fragmentSeparator = "...";

5)高亮处理

                     TokenStream tokenStream=TokenSources.getTokenStream(tpv);

                     //如果没有stop words去除还可以改成 TokenSources.getTokenStream(tpv,true); 进一步提速。

 

 

 

6)得到结果                     String result =

                            highlighter.getBestFragments(

                                   tokenStream,

                                   text,

                                   maxNumFragmentsRequired,

                                   fragmentSeparator);

使用Lucene的highlight包高亮显示检索关键字 在Lucene的org.apache.lucene.search.highlight包中提供了关于高亮显示检索关键字的工具。 使用百度、Google搜索的时候,检索结果显示的时候,在摘要中实现与关键字相同的词条进行高亮显示,百度和Google指定红色高亮显示。 需要的包有lucene-core-3.4.0.jar,IKAnalyzer3.2.8.jar,lucene-highlight 阅读详情

相关推荐

IKAnalyzer LUCENE.4.9 中文分词的高亮显示

利用IKAnalyzer结合LUCENE.4.9进行中文分词的高亮显示。

lucene源码分析---13

lucene源码分析—高亮 QueryScorer Highlighter getBestFragment

conansonic的博客 2704

【黑马点评优化】2-Canel实现多级缓存(Redis+Caffeine)同步

【黑马点评优化】2-Canel实现多级缓存(Redis+Caffeine)同步

m0_52031708的博客 3857

Lucene开发实例教程:Lucene中文分词、分页查询、高亮显示

1、准备工作 下载lucene 3.6.1 : http://lucene.apache.org/ 下载中文分词IK Analyzer: http://code.google.com/p/ik-analyzer/downloads/list (注意下载的是IK Analyzer 2012_u5_source.zip,其他版本有bug) 下载solr 3.6.1:  h

北风网IT 1109

【FnOS飞牛云 | NAS存储】旧电脑不吃灰,手把手教你搭建完全属于自己的私人网盘

打造属于自己的NAS私人网盘,亲测有效,值得一试

木子Linux的博客世界 9425

Scrapy实现微博关键词爬虫(爬虫结果写入mongodb)

话不多说,上代码: spiders文件夹下的microBlogSpider.py里这样写: # -*- coding: utf-8 -*- import scrapy from scrapy import Spider, Request, FormRequest from scrapy.selector import Selector import datetime import random from blogSpider.items import microBlogItem, keyWordItem f

qq_39360565的博客 1780

一步一步跟我学习lucene(11)---lucene搜索之高亮显示highlighter

highlighter介绍 这几天一直加班,博客有三天没有更新了,望见谅;我们在做查询的时候,希望对我们自己的搜索结果与搜索内容相近的地方进行着重显示,就如下面的效果 这里我们搜索的内容是“一步一步跟我学习lucene”,搜索引擎展示的结果中对用户的输入信息进行了配色方面的处理,这种区分正常文本和输入内容的效果即是高亮显示; 这样做的好处: 视觉上让人便于查找有搜索对应的文本块; 界面展...

wuyinggui的专栏 468

com.sap.aii.af.service.cpa.CPAObjectNotFoundException: Couldn‘t retrieve inbound binding

错误消息:错误截图:该错误通常表示在集成配置中,未找到与特定消息匹配的入站绑定(Inbound Binding)。具体而言,错误消息中的 P/S/A(Party/Service/Action)值未在配置中找到对应的入站绑定。

2007 年 ~ 2025 年,深耕 SAP 技术 18 年 374

java中getbest_Java Highlighter.getBestFragment方法代碼示例

本文整理匯總了Java中org.apache.lucene.search.highlight.Highlighter.getBestFragment方法的典型用法代碼示例。如果您正苦於以下問題:Java Highlighter.getBestFragment方法的具體用法?Java Highlighter.getBestFragment怎麽用?Java Highlighter.getBestFra...

weixin_36370851的博客 1040

15、z/OS 优化配置与迁移实践

本文详细探讨了z/OS环境的优化配置与迁移实践,涵盖DASD存储库管理、用户目录更新、环境更新意义以及不同场景下的迁移案例。通过单笔记本系统和服务器级机器的实例,展示了迁移流程和关键要点,包括DASD文件创建、设备映射更新、系统重启初始化以及数据备份等步骤。文章还总结了迁移过程中的注意事项,并展望了未来z/OS优化的发展趋势,为z/OS系统的稳定运行和高效管理提供了实用指导。

zzz56的博客 130

Burpsuite 使用教程

Burpsuite 使用教程

xiongIT的博客 8230

Lucene高亮highlighter.getBestFragment 取值为null

public static String highConvert(String field,String value,Query query){ String highStr = null; try { Scorer scorer = new QueryScorer(query); Highlighter highlighter = new Highlighter(format...

得未曾有 心净踊跃 1623

【GEE数据库】WRF常用数据集总结

【GEE数据库】WRF常用数据集总结

WW、forever的博客 639

Lucene查询结果高亮

检索结果高亮 实现效果: 核心代码 package ucas.ir.lucene; import java.io.File; import java.io.IOException; import javax.print.Doc; import org.apache.lucene.analysis.Analyzer; import org.apache.l...

weixin_33832340的博客 98

YOLOv9改进策略【Neck】| GSConv+Slim Neck:混合深度可分离卷积和标准卷积的轻量化网络设计

实时检测器架构的轻量级设计GsConv。

Limiiiing的博客 1366

复分析 阿尔福斯(Ahlfors) 第三版答案 英文

答案分为十章,有部分习题没有答案,全英文复分析阿尔福斯(Ahlfors) 第三版答案

高亮显示和显示部分原文件

lucene笔记十 :关于高亮显示和显示部分原始文件的原则 高亮显示查询项有一个能使搜索引擎变得更友好的办法,那就是向你的用户提供一些搜索命中结果的上下文,而且更为重要的是这样做是非常有用 的。最好的例子就是本系统用户在查找天气Web服务时的搜索结果。如下图1所示,每个命中结果包括了匹配文档的三行左右的内容,并且将查询项高亮显示出 来。通常,我们只需要对搜索项 上下文内容浏览一眼就足以 了...

飞鹰 182

Statistics and Machine Learning Toolbox

Statistics and Machine Learning Toolbox(带书签),MATLAB统计学习工具

Lucene 索引 高亮显示---http://yezhiqiu-love-yeah-net.javaeye.com/blog/791339

Lucene 索引 高亮显示<br />文章分类:Java编程<br />要说这高亮,还是比较好搞的,就是要引用luncene的highlight这个包,然后调用它里面的方法就可以了。主要代码如下:TokenStream tokenStream = null;<br />                            <br />/** 添加关键词高亮显示 start */<br />Document doc = hits.doc(i);<br />                <br />Sim

1087

贝叶斯统计 [韦来生编]

贝叶斯(Bayes)统计是近几十年来迅速发展起来的数理统计的一个重要分支。贝叶斯方法与经典统计方法的主要不同之处是进行统计推断时除了利用样本信息外,还要利用参数的先验信息,因此可以提高统计推断或统计决策的效果。它在经济、金融、生物、医学、自然科学和社会科学等许多领域具有广泛的应用。贝叶斯方法的研究已渗透到了统计学的几乎所有领域。作者在给中国科学技术大学概率论与数理统计专业本科生开设的“数理统计”课程中有一章专门讲授“贝叶斯方法和统计决策理论”,近十年来也给中国科学技术大学概率统计专业研究生开设过几次“贝叶斯分析”课。本书是在对过去讲稿的内容作了适当的增减和调整的基础上完成的。  本书共分六章。第1章是绪论,介绍了贝叶斯统计的若干基本概念,同时对必要的数理统计的基础知识有重点地作了回顾。第二章介绍了确定先验分布的若干可供选择的方法。第三章介绍了几类常见统计模型参数的后验分布的主要结果和计算方法。第四章和第五章分别介绍了“贝叶斯统计推断”和“贝叶斯统计决策”的内容。第六章介绍了贝叶斯统计计算的若干方法,包括蒙特卡洛方法和马尔可夫链蒙特卡洛(MCMC)方法以及相关统计软件的简介。本书的每一章附右大量的例题和习题,书末附有常用的几个表格和部分习题解答供读者查用。  大约可在54学时内讲授本书的第1章至第六章的主要内容,教师可根据学时需要选讲本书第1章至第六章的部分内容。书中标“*”号的章节可略去不讲,留给读者作为阅读材料。第六章例题中的R代码和部分例题的数据文件等可从作者个人主页下载。  作者在编写本书的过程中参考了J.O.Berger教授的《统计决策论及贝叶斯分析》和茆诗松教授编写的《贝叶斯统计》等书中的一些内容,以及《贝叶斯分析》一书中由张伟平博士编写的有关贝叶斯统计计算的一些内容。在此表示衷心感谢。  本书编写准备过程中,中国科学技术大学统计与金融系的几个研究生帮助完成了本书部分中文的录入和排版,作者对他们的辛勤工作表示真诚的感谢。高等教育出版社为本书的出版给予了大力支持。在此一并致谢。

大中型超市收银系统(可直接运行)

光步前台收银系统系统功能:商品销售、商品退货、挂单、收银员权限、会员销售、单品取消、整单取消、商品查询、脱机销售、脱机数据上传,基本资料下载,开钱箱、小票打印、收款结算,支持多币种付款方式(现金、储值卡、礼券、微信等),支持多种促销。运行环境:.net 4.0登陆信息用户名:1001 密码:123456内置商品信息,商品编码可输入00001000 - 00010000,测试效果相关功能键F5 结算 F9挂单 F11商品查询 F8退货 Insert单品取消 Del整单取消 F12开钱箱F2 会员 Ctrl+Z退出系统 Home 锁屏 相关源码待公开

Lucene入门

Lucene入门 Lucene是Apache下一个著名的开源搜索引擎内核,它基于Java技术,可以处理索引、拼写检查、点击高亮和其他分词等技术。Lucene并不关心数据源、数据格式、甚至数据的语言,Lucene更不会关心搜索的界面会是怎样,因为这些工作都是由基于Lucene的程序来完成,因此Lucene使用于几乎所有以文本内容为主的数据检索功能。 lucene官网 http://lucene.a...

qq_43514335的博客 355

lucene高亮显示

Lucene针对高亮显示功能提供了两种实现方式,分别是Highlighter和FastVectorHighlighter 顾名思义,FastVectorHighlighter较Highlighter速度更快,功能也更强大,但是有使用前提:创建索引时,需要存储Field的分词向量信息(TermVector.WITH_POSITIONS_OFFSETS),而Highlighter则不需要,如何在时间

JavaMan_chen的专栏 8957

Lucene的高亮器Highlighter

Lucene的高亮器Highlighter Lucene的高亮器就是给搜索关键词加上HTML标签,这样在网页上显示的时候,可以有不同的突出显示效果。   高亮器会做两个工作:   1)让搜索关键词突出显示。   2)截取出现搜索关键词最多的一段文本生成摘要。   使用高亮器需要引入两个jar文件:lucene-highlighter-3.6.0.jar和lucene-

不了了之专栏 1776

Lucene —— 搜索结果高亮显示

零. 前言 谷歌、 百度的搜索结果在关键词命中的时候会高亮显示(飘红), Lucene 也提供了高亮显示的实现, 借助 Lucene 的 Highlighter 类可以快速实现搜索结果高亮。 一. 代码示例 本例使用 Lucene 5.3.1 的包  package com.wenniuwuren.lucene; import org.apache.lucene.anal

wenniuwuren 3403

使用Lucene的Highlighter实现文件摘要的自动提取

使用Lucene自带的Highlighter就可以实现对原始文件摘要的提取工作。Highlighter类有一个getBestFragment方法,这个方法有多个重载的方法,其中,使用: public final String getBestFragment(Analyzer analyzer, String fieldName,String text) 就可以提取摘要,它实现了从指定的原始文件...

zfsn7722483的专栏 193

【Lucene】三个高亮显示模块的简单示例-Highlighter

Lucene针对高亮显示功能提供了两种实现方式,分别是Highlighter和FastVectorHighlighter 这里的三个示例都是使用Highlighter; 示例代码: package com.tan.code; import java.io.File; import java.io.IOException; import java.io.StringReader; impo

Mr_Tank_ 8932

Lucene 2 4 + Highlighter 2 4 的分页+高亮显示代码例子

Lucene 2 4 + Highlighter 2 4 的分页+高亮显示代码例子

jgfyyfd的博客 163
上一篇: lucene-链式过滤器ChainedFliter
下一篇: lucene-使用Highlighter高亮显示查询项
deepfuture
博客等级 码龄17年 211粉丝 1287原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值