Lucene 查询TopN的优化（二）

最新推荐文章于 2025-05-05 23:30:55 发布
最新推荐文章于 2025-05-05 23:30:55 发布
阅读量763 收藏
点赞数
分类专栏： Lucene 文章标签： BKD Lucene TopN
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/q364367207/article/details/118391636
版权
本文探讨了在Lucene中优化查询TopN的条件，包括Collector已收集N个文档号、启用PointValues优化、达到totalHitsThreshold、不超过迭代器更新次数及估算新迭代器文档数低于阈值。详细解释了每个条件及其在代码实现中的作用，特别是如何使用BKD树进行优化。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

在上一篇文章的结尾，我们总结了使用NumericDocValues优化查询TopN的原理：假设查询TopN的排序规则为按照正排值从小大小的顺序，即正排值越小，优先级越高。故在开启优化后，当收集器收到一个文档号，先根据文档号从正排索引中拿到正排值，在满足某些条件后，根据正排值，通过查询BKD树获取所有小于该正排值的文档集合，该文档集合用于生成一个新的迭代器。随后每次传入到收集器的文档号将会从新的迭代器中获取，达到所谓的skip non-competitive documents的效果。

  上文的描述中，我们需要对两个问题进一步展开介绍：

  • 问题一：满足什么条件后会生成一个新的迭代器
  • 问题二：如何生成一个新的迭代器

问题一：满足什么条件后会生成一个新的迭代器

  满足的条件很苛刻，本文中只挑选出部分条件，且这些条件必须同时满足。完整的内容可以阅读源码：NumericComparator类中的updateCompetitiveIterator()

最低0.47元/天 解锁文章
Lucene底层原理和优化经验分享(2)-Lucene优化经验总结
01-05 502
系统优化遵从木桶原理：一只木桶能盛多少水，并不取决于最高的木板，而取决于最短的那块木板。优化Lucene也同样，找到性能瓶颈，找对解决方法，才能事半功倍，本文将从三方面阐述我们的Lucene优化经验： 　　1. 找准方向 -> Lucene性能瓶颈分析。 　　2. 找对方法 -> Lucene代码架构分析。 　　3. 方法落地 -> 优化经验总结。 1. Lucene性能瓶颈分析 　　上
Lucene硬核解析专题系列（四）：性能优化与调优
资深架构师分享：深入剖析软件架构，探讨云计算、微服务、大数据等前沿技术。分享实践经验，促进技术交流，共同构建卓越系统。
03-01 967
Lucene的性能优化涵盖索引管理、内存使用和查询执行多个层面。平衡了合并开销与查询性能，DocValues优化了内存效率，多线程设计提升了并发能力。下一篇文章将探讨Lucene的扩展与实战，展示如何通过自定义功能和应用案例释放其潜力。
Lucene排序取TopN源码分析--PriorityQueue
atarik@163.com
06-10 868
PriorityQueue 实现一优先队列框架，实例非常简单，只需实现lessThan(Object a, Object b)方法即可，通过该方法可以控制大优先或小优先 通过分析lucene源码可知，lucene每命中一个结果，就调用一次collector.collect(doc)方法，由Collector把结果保存到一个PriorityQueue中。对于常见的取TopN的情况，通常实例化一个...
Lucene性能优化之使用Lucene预排序加速搜索速度
起跑人生,追逐梦想,超越现实
12-30 634
　　                                                                                                                  简单说搜索个过程，Lucene 在搜索的程序简单分成两部分，搜索与排序。高手请忽略下面我的讲解。 　　搜索： 　　　通过倒排的索引找到对应的 docId 集，...
正向索引与反向索引（solr）
SmallCatBaby的博客
03-20 1788
正向索引（正排索引）：正排表是以文档的ID为关键字，表中记录文档中每个字的位置信息，查找时扫描表中每个文档中字的信息直到找出所有包含查询关键字的文档。 正排表结构如图1所示，这种组织方法在建立索引的时候结构比较简单，建立比较方便且易于维护;因为索引是基于文档建立的，若是有新的文档加入，直接为该文档建立一个新的索引块，挂接在原来索引文件的后面。若是有文档删除...
Lucene 查询TopN的优化（一）
q364367207的专栏
06-21 257
在索引阶段，我们可以在每一篇文档中添加一条或多条DocValues信息（正排），使得在查询阶段，当收集器Collector收集到满足查询条件的文档号后，可以根据文档号找到对应的正排信息，并依据正排信息对查询结果进行排序。 图1：   图1中添加了3篇文档，红框标注即正排信息，我们在查询条件中设置一个排序规则： 图2：   在图2的排序规则下，返回的结果为： 图3： 查询TopN的性能（优化前）   基于目前Lucene的查询模块设计，整个查询过程可以按照获取迭代器和收集器处理文档的
Lucene Search流程之二
Lucene/Solr解密
02-28 1140
介绍Lucene的Search流程，从查询发起到文档的收集的所有步骤全在文中。从索引应用的角度进一步巩固Lucene索引构建流程，做到知其然也知其所以然。流程之外，还介绍了Lucene如果实现布尔检索模型，以及应用。
搜索领域查询优化：优化查询结果的方法
最新发布
AI天才研究院
05-05 761
在信息爆炸的时代，搜索引擎作为用户获取信息的核心入口，其查询结果的质量直接影响用户体验。查询优化的核心目标是通过技术手段，使搜索引擎返回更符合用户意图的结果。本文将覆盖从基础查询处理到高级机器学习排序的全流程优化方法，包括语义理解、查询扩展、排序算法优化等关键技术，适用于通用搜索引擎、垂直领域搜索（如电商、学术）和企业级搜索系统的开发与优化。
Lucene硬核解析专题系列（三）：查询解析与执行
资深架构师分享：深入剖析软件架构，探讨云计算、微服务、大数据等前沿技术。分享实践经验，促进技术交流，共同构建卓越系统。
03-01 898
Lucene的查询解析与执行是一个从文本到结果的精密过程。将用户输入转化为结构化查询，多种查询类型满足复杂需求，BM25评分模型确保结果相关性，高效执行搜索。下一篇文章将探讨性能优化与调优，揭示Lucene在高负载场景下的应对策略。
lucene站内搜索
03-23
5. **执行查询**: 创建Query对象，使用IndexSearcher执行查询，获取Top N个结果。 6. **处理结果**: 取出结果中的Document信息，展示给用户。 ### 四、站内搜索优化 1. **性能优化**: 使用多线程并行索引，或者...
es系列：获取按条查询出来真实的总数
热门推荐
zhuchunyan_aijia的博客
02-12 2万+
elasticsearch版本7.x如果查询的结果大于1w条，则在total上的总数只是返回1w，如果想要获取真实的总数 方法1： "track_total_hits": true POST myindex/_search { "track_total_hits": true, "query": { "match_all": { } }, "size": 2 } 如果是要在java中进行跟踪真实的查询结果总数:searchSourceBuilder.tr
es查询-统计总数以及深度分页
jggnice的博客
08-25 1298
如果你的业务需求在超过 10000 这个阈值之后就不需要精准的计算的话，就不需要设置该值，毕竟匹配大量的文档是一个成本较高的操作，同样的如果你并不需要统计数量，那么将该值设置为 false "track_total_hits": false 也是一种优化检索效率的操作。根据官方文档的说法，scroll的搜索上下文会在scroll的保留时间截止后自动清除，但是我们知道scroll是非常消耗资源的，所以一个建议就是当不需要了scroll数据的时候，尽可能快的把scroll_id显式删除掉。
ES 查询 hits 统计总数不准？如何解决？原来默认最大值 10000
dying 搁浅
07-26 6498
ES 查询 hits 统计总数不准？默认最大值 10000 当我们使用 ES 的时候，有时会比较关心匹配到的文档总数是多少，所以在查询得到结果后会使用 hits.tatal.value 这个值作为匹配的总数，如下 { "took" : 1, "timed_out" : false, "_shards" : { "total" : 3, "successful" : 3, "skipped" : 0, "failed" : 0 }, "hits" : {
Lucene查询的底层实现IndexSearch（下）
qq_47537678的博客
03-27 850
系列文章目录 提示：这里可以添加系列文章的所有文章的目录，目录需要自己手动添加 例如：第一章 Python 机器学习入门之pandas的使用 提示：写完文章后，目录可以自动生成，如何生成可参考右边的帮助文档 文章目录系列文章目录前言一、pandas是什么？二、使用步骤1.引入库2.读入数据总结 前言 提示：这里可以添加本文要记录的大概内容： 例如：随着人工智能的不断发展，机器学习这门技术也越来越重要，很多人都开启了学习机器学习，本文就介绍了机器学习的基础内容。 提示：以下是本篇文章正文内容，下面案例可
elasticsearch7实战（四）——单条件查询
Aspirin's Nest
06-30 602
前言 从本篇文章开始将开始介绍ES的查询语法。相比于SQL，ES的查询语法可以说非常难以记忆。但是通过学习我发现也并非无迹可寻。 从本篇开始的以后几章将着重介绍ES的查询语法。本篇将介绍的是ES最基本的查询——单个条件的查询语句。 查询语法 1. 根据id查询 //其中index_name表示要查询的索引，doc_id表示要查询文档的id。后面的filter_path在上一章有讲过，如果忘记可以进行查看。 http://{{ _.es_url }}/{index_name}/_doc/{doc_id}?fi
【Java在路上】
weixin_45144787的博客
07-13 445
网上关于java技术类的博客一抓一大把，其中好多只能浅尝辄止的瞅瞅，深入的话就有些吃力了。虽然说入行也不短了，可是个人技术能力还是迷迷糊糊，不咋光鲜亮丽。种一棵树最好的时间是十年前和现在，得，我现在开始种树了。不过最近代码写的蛮多的（相比往前），写的时候好多逻辑自己也一直在想，该如何实现最优。工作环境问题，可以像之前一样讨论的人很少，好多都是我按照自己的理解，思维去写，另外工作群里也有同事偶尔分享技术博客，我自己也尝试去看。有时候觉得自己在慢慢积累，那种沉淀的感觉真好，有时候却觉得自己啥都不会，好多基础知识
深入解析 `org.elasticsearch.action.search.SearchRequest` 类
一起coding，一起嗨。
04-30 1419
深入解析 `org.elasticsearch.action.search.SearchRequest` 类
es7.x在查询时，必须加上track_total_hits，不然就只显示10000
fangletian1981的专栏
04-16 7261
{ "track_total_hits": true, "query": { "range": { "ts": { "gte": 0 } } } }
【转】elasticsearch 基础 —— URI搜索
路漫漫其修远兮
04-14 540
大神地址:https://blog.youkuaiyun.com/ctwy291314/article/details/82744548 有两种形式的 搜索 API：一种是 “轻量的” 查询字符串 版本，要求在查询字符串中传递所有的 参数，另一种是更完整的 请求体 版本，要求使用 JSON 格式和更丰富的查询表达式作为搜索语言。 查询字符串搜索非常适用于通过命令行做即席查询。例如，查询在 tweet 类型...
利用Lucene实现新闻文本关键词提取
### Lucene提取新闻关键词Top-N知识点详解 #### 1. Lucene简介 Lucene是一个高效的、可扩展的、跨平台的全文检索库，它提供了一个简单却强大的应用程序接口（API），能够帮助开发者实现全文搜索的功能。Lucene本身...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值