Lucene底层原理和优化经验分享(2)-Lucene优化经验总结

深入理解Lucene:开源全文搜索引擎的核心技术解析 Lucene是一个开源的全文搜索引擎库,提供了强大的文本搜索和检索功能。它由Apache软件基金会维护和开发,采用Java语言编写,因其高性能、可扩展性和灵活性而备受欢迎。索引:索引是一种数据结构,用于加速数据的查找和检索。在全文搜索领域中,索引通常指的是文本数据的索引,用于加速文本搜索过程。需要索引的原因文本数据量大:在大规模文本数据中进行搜索需要耗费大量时间。提高搜索效率:通过构建索引,可以将文本数据结构化并存储在内存或磁盘上,从而加快搜索速度。 阅读详情

  系统优化遵从木桶原理:一只木桶能盛多少水,并不取决于最高的木板,而取决于最短的那块木板。Lucene优化也一样,找到性能瓶颈,找对解决方法,才能事半功倍,本文将从三方面阐述我们的Lucene优化经验:
  1. 找准方向 -> Lucene性能瓶颈分析。
  2. 找对方法 -> Lucene代码架构分析。
  3. 方法落地 -> 优化经验总结。

1. Lucene性能瓶颈分析

  上篇Lucene底层原理分析了Lucene索引结构:内存+磁盘,打开索引库时只有tip和fdx文件会被加载到内存中,tip为FST的前缀索引,fdx为正向文件索引,其他文件tim、doc、fdt都放在硬盘,一次完整的检索过程与索引文件的交互过程如图:
这里写图片描述 
  整个流程至少发生三次随机IO:
  1. 读后缀词块
  2. 读倒排表
  3. 取文档(如果文档号跳跃性很大或者因为打分完全乱序,那么会发生更多次随机IO,极端情况就是取多少文档就发生多少次随机IO)
  当前机械硬盘随机IO响应时间平均在10ms左右,远大于CPU+内存计算时间,而且这只是针对一个查询条件,若多个查询条件、跨多列、甚至模糊查询,随机IO请求更多,因此Lucene查询性能瓶颈主要集中磁盘IO性能上,尤其随机IO性能。所以我们的优化方向就是:
  1. 减少IO请求。
  2. 顺序IO代替随机IO。

2. Lucene代码架构

  上一节分析了Lucene性能瓶颈,这一节分析Lucene代码架构,找到从哪里下手去实现优化。
  Lucene从4.0版本后,代码全面模块化,并开放了很多接口,包括索引格式接口Codec、打分接口Similarity、文档收集接口Collector,开发者想基于Lucene再开发,不再需要侵入式修改源代码,而是基于接口,插件式修改。我们结合业务场景和开放接口自定义了Lucene检索模式。
  Lucene检索大致时序图:
  这里写图片描述   
  1. APP解析用户查询生成查询条件Query。
  2. IndexSearcher重写Query并生成Weight。
  3. Weight会生成Scorer,Scorer创建相应查询条件的倒排表迭代器。
  4. 调用scoreALl(),遍历所有文档ID,依次传给传给Collector。
  5. Collector得到文档ID后,调用打分模块Similarity得到文档分值,并根据分值和文档收集器具体实现决定是否返回。Lucene默认的收集器TopScoreDocCollector,会根据用户定义的文档数如100,返回分值前100的文档ID。
  
  我们对Lucene的修改主要在图中标红的文档收集过程,一是屏蔽打分,二是修改文档收集模式,下一节会详细阐述。

3. 优化经验总结

  基于底层原理和代码架构,我们知道了需要做什么和怎么做:IO、IO、还是IO,以下我们全文检索系统的主要优化方案:

3.1单盘优化

解决问题:
  硬盘随机IO性能低。
解决方案:
  1. 将原先的Raid5拆分,改用单盘,因为Raid5随机读写性能 < n*单盘。
  2. 将索引文件tim、doc使用固态硬盘SSD存放,正向文件fdt使用机械硬盘,这样综合了SSD随机读写性能高,机械硬盘成本低、存储空间大的优点。
  3. 对同一磁盘上索引库进行统一管理,单线程处理对同一硬盘上索引库的检索请求,防止同一硬盘多库之间同时访问降低磁盘性能。这里可以根据实际测试情况调整具体线程数,但线程数不宜过多。
  

3.2布隆过滤器

解决问题:
  有些单词不在索引库里,但还需要进索引库查询,发起不必要的IO请求。

解决方案:
  使用布隆过滤器,预先判断单词是不是在该索引库里。布隆过滤器原理很简单,对一单词哈希,并映射到相应bit,设置为1,判断时同样做哈希,并去相应bit位取值,若为1,则可能存在,进库查询,若为0,则肯定不存在,不需进库查询。
这里写图片描述

  对Lucene实现布隆过滤器有两种方式:
  1. 在应用层,Lucene之外实现。
  2. 改写Lucene的Codec接口,添加布隆过滤器功能,使用布隆过滤器预先过滤查询条件。
  后来我们经过测试,选用了第一种方案,因为布隆过滤器十分消耗内存、加载时间很长,而且我们同一索引库为提高性能,复制到多个硬盘上,所以如果布隆过滤器放在Lucene里,相同过滤器会被加载多次,会浪费相当多的内存,所以我们在Lucene之外做了布隆过滤器,同一索引库共享一个布隆过滤器,节约了内存。
  

3.3屏蔽打分/排序机制

解决问题:
  一次测试发现,同样的条件,精确查询速度还没有模糊查询速度快
这里写图片描述
  研究源代码发现,Lucene会对分词列的精确查询条件进行打分。打分是搜索引擎重要一部分,倒排索引只能回答是不是的问题,打分能够评判查询条件和文档的匹配度,提高检索质量。Lucene打分过程集成了多种经典模型,如TF-IDF、VSM,如图:
  这里写图片描述
  1. coord 一个document满足几个查询,满足多的分值高。
  2. queryNorm,查询归一化,它的意义是让同一文档但不同查询的打分结果有可比较。
  3. tf-idf,tf是term在文档中出现次数,idf逆文档频率是term在多少个文档中出现过除以总文档数。
  4. getBoost,查询时赋的权重。
  5. 归一化,主要三个因素文档权重、field权重、文档长度,这个很重要,因为这个需要单独加载nvm文件,而且在打开库时不会加载,而是在第一次查询时会加载,因此才会造成查询时间的巨大差异。
  这里不详细阐述,只说下它的几个基本原则:
  1. 一个文档符合的查询条件越多分越高。
  2. 一个文档关键词出现次数越多分越高,文档内容越多分越低。
  3. 一个查询词在越多文档中出现权重越低。
  有兴趣的可查看LuceneAPI文档TFIDFSimilarity类说明:
  http://lucene.apache.org/core/4_10_3/core/index.html
  打分会消耗额外IO、需要更多CPU计算、加载整个倒排表,拖累了查询速度,特别实在文档数非常多的情况下。而对模糊查询,Lucene不会进行打分,所以反而更快。在我们的业务场景下,我们不需要TF-IDF这种打分方式,所以我们完全屏蔽了打分这个过程,大大提高了检索速度。
解决方案:
  1. 实现EmptySimilarity,去掉所有计算过程,打分过程完全为空。

public class EmptySimilarity extends Similarity {

    private static long ZERO=0;
    @Override
    public long computeNorm(FieldInvertState state) {
        return ZERO;
    }

    @Override
    public SimWeight computeWeight(float queryBoost,
            CollectionStatistics collectionStats, TermStatistics... termStats) {
        return new EmptySimWeight();
    }

    @Override
    public SimScorer simScorer(SimWeight weight, AtomicReaderContext context)
            throws IOException {
        return new EmptyScorer();
    }

    public class EmptySimWeight extends SimWeight {

        @Override
        public float getValueForNormalization() {
            return ZERO;
        }

        @Override
        public void normalize(float queryNorm, float topLevelBoost) {

        }

    }

    public static class EmptyScorer extends SimScorer {

        @Override
        public float score(int doc, float freq) {
            return ZERO;
        }

        @Override
        public float computeSlopFactor(int distance) {
            return ZERO;
        }

        @Override
        public float computePayloadFactor(int doc, int start, int end,
                BytesRef payload) {
            return ZERO;
        }

    }

}

  2. 自定义Collector,结果数满足了抛异常退出,防止读入多余倒排表。


public class SimpleCollector extends Collector implements Iterable<Integer> {

    private final List<Integer> hitList;
    private final int numHits;
    private int docBase;

    public SimpleCollector(int numHits) {
        if(numHits<0)
            throw new IllegalArgumentException("numHits should > 0");
        this.numHits = numHits;
        this.hitList = new ArrayList<Integer>(numHits);
    }


    @Override
    public void collect(int doc) throws IOException {
        if(hitList.size()<numHits)
        {
            hitList.add(docBase+doc);
        }
        else{
            //若结果满了抛异常退出
            throw new HitListFullException();
        }
    }
    public int size(){
        return hitList.size();
    }
    @Override
    public void setScorer(Scorer scorer) throws IOException {
        //ignore scorer
    }

    @Override
    public void setNextReader(AtomicReaderContext context) throws IOException {
        //因为是分段的,所以需要记载每个段起始文档号
        this.docBase=context.docBase;
    }

    @Override
    public boolean acceptsDocsOutOfOrder() {
        //接受乱序,提高性能,因为最后要自己排序
        return true;
    }

    @Override
    public Iterator<Integer> iterator() {
        Collections.sort(hitList);
        return hitList.iterator();
    }

    public static class HitListFullException extends RuntimeException{

        public HitListFullException()
        {
            super("HitList already full");
        }
    }
}

  使用如下:

    IndexSearcher indexSearcher = new IndexSearcher(
                DirectoryReader.open(FSDirectory
                        .open(new File("/index/lucene_test"))));
        //使用空打分器
        indexSearcher.setSimilarity(new EmptySimilarity());
        SimpleCollector simpleCollector=new SimpleCollector(2);
        try {
            indexSearcher.search(query, simpleCollector);
        } catch (HitListFullException e) {
            //e.printStackTrace();
            // ignore
        }
        System.out.println(simpleCollector.size());
        //遍历文档号
        for(int hit:simpleCollector)
        {
            indexSearcher.doc(hit);
        }
        indexSearcher.getIndexReader().close();
3.4 取结果优化

解决问题:
  上面的测试条件还有一个问题,就是他们取同样数量的文档数,时间却差了很多。
这里写图片描述

  原因就是因为模糊查询不打分,所以文档ID是顺序的,为顺序IO读方式,而打分后文档ID完全乱序,为随机IO读方式。
解决方案:
  1. 自定义Collector,按文档ID升序排序且结果数满足立即退出。
  2. 多任务合并取结果操作,这样相同ID的文档只会取一次。
  

3.5解决Query被转成Filter

解决问题:
  我们有一个组合条件:

select * from indexdb where Time > 20170104 AND Time < 20170105 AND Protocol = 'TCP' AND Content ='not exist'

  这里需要合并多个查询条件的倒排表,Lucene在合并倒排表时,并不会一次性读出所有倒排表,而是将倒排表抽象成迭代器,延迟获取,而且如果有一个AND条件查询结果为空,它就直接返回,不会读任一倒排表。这里Content查询结果为空,但这个查询还是很久才返回,debug跟踪Lucene源代码发现,Lucene会对Query查询重写来优化性能,这里的Time条件因为匹配到词数太多,而被Lucene改写成Filter,Filter一个特点就是会读出符合查询条件的所有倒排表,并做成BitSet,所以查询时间都消耗在了读倒排表上。
解决方案:
  1. 去掉了CapTime条件,改由应用层去做,按时间预先分库。
  2. 调整子查询顺序,将匹配结果更少的放前面。
  3. 留心Lucene的重写机制,有时候重写过的查询条件不一定符合我们预期。
  

3.6索引库大小性能比较

解决问题:
  Lucene一个索引库多大合适?
解决方案:
  这里涉及到Lucene索引结构设计:Lucene是分段的。分段是指Lucene接收到索引请求后,会先放缓存,缓存满后才会写到磁盘中去,变成一个Segment,Segment创建好了之后就不会再修改,每个Segment相当于一个功能完整的小索引库,它包含之前说的所有索引文件。当然这样会导致索引库中有很多段,所以Lucene后台会有合并线程定期去合并小的段。
  段数越少,检索时随机IO次数请求就越少,段结果合并操作越少。如果只有一个段,那么一个查询条件就需要加载一个后缀词块,但有10个段,就需要分别加载10个段的后缀词块和倒排表,再合并10个段的查询结果。分库本质上跟分段是一样的,调整库大小,减少库数量,就是减少段数来提高性能。
  库大小测试结果:
  总共575G的索引库,我们分为6个100g的库和71个10g的库来分别测试
  打开库测试

库类型打开时间(s)库内存占用(g)
大库111.3
小库182.2

  查询测试

库类型查询条件查询时间(ms)
大库content=’trump’1100
小库content=’trump’5700

  可以看出大库相比小库不管再打开时间、内存占用、查询效率上都有着很大优势,所以在条件允许下,尽量把库调大。但也需注意两个问题:
  1. 合并大库是有成本的。
  2. 库越大,分发成本越高,容错率越低。

总结

 以上就是我们对Lucene的一些优化经验,回顾起来就是三点:
  1. 认清业务需求。
  2. 分析底层原理,找出性能瓶颈。
  3. 研究代码架构,找到优化切入点。
 这也是我们对其他开源项目的使用方法,知其然更只知其所以然。
 
 谢谢。

lucene原理 一个索引中包含多个段,段与段之间相互独立。由于Lucene进行关键词检索时需要加载索引段进行下一步搜索,如果索引段较多会增加较大的I/O开销,减慢检索速度,因此写入时会通过段合并策略对不同的段进行合并。:保存了不同前缀对应的相应的Term及相应的倒排表信息,倒排表通过跳表实现快速查找,通过跳表能够跳过一些元素的方式对多条件查询交集、并集、差集之类的集合运算也提高了性能。:用于保存倒排索引Term的前缀,来快速定位.tim文件中属于这个Field的Term的位置,即上图中的aab、abd、bdc。 阅读详情

相关推荐

Lucene(9):Lucene优化

更高的值意味着索引期间更低的段合并开销,但同时也意味着更慢的搜索速度,因为此时的索引通常会包含更多的段。虽然StandardAnalyzer切分词速度快过IKAnalyzer, 但是由于StandardAnalyzer对中文支持不好, 所以为了追求好的分词效果, 为了追求查询时的准确率, 也只能用IKAnalyzer分词器, IKAnalyzer支持停用词典和扩展词典, 可以通过调整两个词典中的内容, 来提升查询匹配的精度。值越小索引速度越慢, 搜索速度越快。数值越大索引速度越快, 但是会消耗更多的内存。

u013938578的博客 1632

Lucene介绍与使用

1、了解搜索技术 1.1 什么是搜索 简单的说,搜索就是搜寻、查找,在IT行业中就是指用户输入关键字,通过相应的算法,查询并返回用户所需要的信息。 1.2 普通的数据库搜索 类似:select * from 表名 where 字段名 like ‘%关键字%’ 例如:select * from article where content like ’%here%’ 结果: where here...

但行好事 莫问前程 9万+

VSCode + Latex 配置

1. 安装VSCode VSCode下载 next,next就安装好了。 2. 配置VSCode 2.1 安装LaTeX Workshop插件 install,安装LaTeX Workshop插件 2.2 修改 user setting 点击左下角,进入用户设置 点击上图标记的部分,选择 打开settings.json 具体配置文件如下: { "latex-workshop.la...

一只特立独行的猪 10万+

Lucene入门及操作详解

1 什么是全文检索 1.1 数据分类 我们生活中的数据总体分为两种:结构化数据和非结构化数据。 结构化数据:指具有固定格式或有限长度的数据,如数据库,元数据等。 非结构化数据:指不定长或无固定格式的数据,如邮件,word 文档等磁盘上的文件 1.2 结构化数据搜索 常见的结构化数据也就是数据库中的数据。 在数据库中搜索很容易实现,通常都是使用 sql语句进行查询,而且能很快的得到查询结果。 为什么数据库搜索很容易? 因为数据库中的数据存储是有规律的,...

qq_45441466的博客 1万+

馈电网络设计:通过Smith圆图工具完成微带线到同轴探针的阻抗匹配

Smith圆图通过图形化阻抗变换路径,显著简化微带线到同轴探针的匹配设计。设计需结合理论计算(微带线阻抗公式、探针等效模型)、圆图操作(串联/并联元件移动规则)及仿真验证,最终实现宽带低反射匹配。

百态·数智思维 | 聚焦大数据、量化与未来AI 1108

FreeRTOS CLI实战:5分钟搞定GD32串口终端移植(附LED控制源码)

本文详细介绍了如何在GD32芯片上快速移植FreeRTOS CLI(Command Line Interface)终端,实现串口交互式调试。通过DMA+空闲中断配置和LED控制命令实战,开发者可在5分钟内构建高效嵌入式调试工具,显著提升现场维护效率。

weixin_28707365的博客 452

Lucene底层原理和优化经验分享(1)-Lucene简介和索引原理

基于Lucene检索引擎我们开发了自己的全文检索系统,承担起后台PB级、万亿条数据记录的检索工作,这里向大家分享下Lucene底层原理研究和一些优化经验。   从两个方面介绍:   1. Lucene简介和索引原理   2. Lucene优化经验总结1. Lucene简介和索引原理  该部分从三方面展开:Lucene简介、索引原理、Lucene索引实现。1.1 Lucene简介  Lucen

njpjsoftdev的博客 4万+

【74HC595芯片】核心驱动代码

74HC595是一个8位串行输入、并行输出的位移缓存器:并行输出为三态输出。在SCK 的上升沿,串行数据由SDL输入到内部的8位位移缓存器,并由Q7’输出,而并行输出则是在LCK的上升沿将在8位位移缓存器的数据存入到8位并行输出缓存器。当串行数据输入端OE的控制信号为低使能时,并行输出端的输出值等于并行输出缓存器所存储的值。

weixin_67147824的博客 1850

Lucene底层原理和优化经验分享:Lucene简介和索引原理

Lucene底层原理和优化经验分享:Lucene简介和索引原理

mine_song的博客 4148

从零搭建运行Pytorch版pointNet++模型全流程及个性化数据集训练测试可视化

从零搭建运行Pytorch版pointNet++模型全流程及个性化数据集训练测试可视化

funfan的博客 9442

【量化入门】Tushare库获取公募基金的历史净值

在本文中,我们将介绍如何使用Python的Tushare库获取公募基金的历史净值。

木头大左的博客 1146

java 底层优化_Lucene底层原理和优化经验分享

Lucene底层原理1 索引原理全文索引由来已久,绝大多数都基于倒排索引来做,顾名思义,它与常规的一篇文章包含哪些词相反,它是一个词记录到那些文档中,由两部分组成--词典和倒排表。其中词典结构尤为重要,有很多种词典结构,各有各的优缺点,最简单如排序数组,通过二分查找来检索数据,更快的有哈希表,磁盘查找有B树、B+树,但一个能支持TB级数据的倒排索引结构需要在时间和空间上有个平衡,下图列了一些常见词...

weixin_42363022的博客 243

图像处理系列——直方图之直方图规定化(Histogram Specification)

直方图规定化也叫直方图匹配(Histogram Matching),让原图像的像素分布与规定图像的像素分布保持一致。直方图规定化比直方图均衡化更加灵活,算是直方图均衡的变种。常用于图片风格一致性的自动处理,能有效的改善图像的整体或局部的特征,广泛运用在图像增强处理中。

nanke_yh的博客 4595

Lucene底层 索引原理

  基于Lucene检索引擎我们开发了自己的全文检索系统,承担起后台PB级、万亿条数据记录的检索工作,这里向大家分享下Lucene底层...

MayMatrix 的博客 526

金砖大赛-第二届网络安全防护治理实战技能大赛全国总决赛WP

格式进行md4加密,然后将小写的md4密文进行作为flag信息进行提交,提交格式为flag{MD4小写},例如调用频率异常高的user_id是user_xxx,使用的非公开模型名称是model-name,具体调用次数为10,那么按照格式,对user_xxx:model-name:10进行md4加密后,提交范例为:flag{dd00cb9e393f4a9ac639294b3cfe4d6a}挖矿木马是通过远程脚本进行部署的,请登录到失陷的服务器上,找到并分析挖矿木马是从那个远程IP下载的。

Laffrey的专栏 262

Statistics and Machine Learning Toolbox

Statistics and Machine Learning Toolbox(带书签),MATLAB统计学习工具

Lucene / Solr 开发经验

注意:该文章所属Blog中的日记遵循Creative Commons(创作共用)授权 ,您可以任意转载,转载时请务必以超链接形式标明文章原始出处 和作者信息 及本声明 。   [开篇语 ]按照惯例应该写一篇技术文章了,这次结合Lucene/Solr来分享一下开发经验。 Lucene是一个使用Java语言写的全文检索开发包(API),利用它可以实现强大的检索功能,它的详细介绍大家可以去

博观而约取 厚积而薄发 588

精雕软件(JDpaint) 5.5 绿色版

精雕软件(JDpaint) 5.5 绿色版精雕软件(JDpaint) 5.5 绿色版精雕软件(JDpaint) 5.5 绿色版

Lucene简介和索引原理

基于Lucene检索引擎我们开发了自己的全文检索系统,承担起后台PB级、万亿条数据记录的检索工作,这里向大家分享下Lucene底层原理研究和一些优化经验。   从两个方面介绍:   1. Lucene简介和索引原理   2. Lucene优化经验总结1. Lucene简介和索引原理  该部分从三方面展开:Lucene简介、索引原理、Lucene索引实现。1.1 Lucene简介  Lucen

小草博客 5725

最新的sdio 4.0 spec 协议标准 带书签 高清完整PDF版

Part-E1-SDIO-Specification-Ver4.00-Final-120220.pdf:最新的sdio 4.0 spec 协议标准 带书签 高清完整PDF版,包括SDIO 接口的外设,SDIO 接口官方协议等。

lucene原理讲解

1 lucene简介 1.1 什么是lucene Lucene是一个全文搜索框架,而不是应用产品。因此它并不像http://www.baidu.com/ 或者google Desktop那么拿来就能用,它只是提供了一种工具让你能实现这些产品。 1.2 lucene能做什么 要回答这个问题,先要了解lucene的本质。实际上lucene的功能很单一,说到底,就是你给它若干个字符串,然后它为你提供一...

Mirror_w的博客 927

Elasticsearch - Elasticsearch 与 Lucene 的关系 底层交互细节

ElasticSearch 技术解析:Lucene 底层原理与应用 本文深入分析 ElasticSearch 与 Apache Lucene 的核心关系,揭示搜索引擎的内部工作机制。主要内容包括: 架构关系:ElasticSearch 作为分布式服务封装 Lucene 单机库,每个 ES 分片对应一个独立的 Lucene 索引。 Lucene 核心机制: 倒排索引的数据结构实现原理 基于不可变段(Segment)的索引更新策略 Merge 合并和删除标记机制 ES 封装流程: 文档写入路径分析 近实时搜索(

千淘万漉虽辛苦,吹尽狂沙始到金 2万+

JE上大牛lucene经验总结

 对lucene感兴趣,但没有实际有实践环境,只能根据别人的经验来总些一些现成的东西。下面是JE坛子里面大牛lucene经验。。。。 1一百万数据记录,一台服务器,分布式,前段服务器通过socket向后端lucene分布式集群发送索引数据,另后端有搜索服务器,提供lucene搜索服务。索引与搜索服务器定时同步。可提供横向扩展,多应用扩展。没有遇到问题,测试结果未定 2.第一个项目 目前是80...

天涯何处是我家 159
上一篇: Lucene底层原理和优化经验分享(1)-Lucene简介和索引原理
njpjsoftdev
博客等级 码龄10年 206粉丝 31原创
评论 11
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值