【Elasticsearch】 解决数据较少的时候 算分不准的问题 dfs_query_then_fetch

最新推荐文章于 2024-03-05 16:18:09 发布
最新推荐文章于 2024-03-05 16:18:09 发布
阅读量538 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： 2025最新-大数据-Elasticsearch
本文为博主九师兄（QQ:541711153 欢迎来探讨技术）原创文章，未经允许博主不允许转载。
本文链接：https://blog.youkuaiyun.com/qq_21383435/article/details/118313717
本文介绍了Elasticsearch中，在数据量较小的情况下，如何通过使用dfs_query_then_fetch搜索类型来解决算分不准确的问题。文章通过案例对比了单个分片和多个分片的情况，指出dfs_query_then_fetch虽然能提供准确的分数，但可能增加性能消耗。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

了解本专栏 订阅专栏 解锁全文
ElasticSearch 开发总结（九）——SearchType：DFS_QUERY_THEN_FETCH和QUERY_THEN_FETCH
大叶子不小的博客
01-26 1657
这种搜索方式，大概分两个步骤，第一步，先向所有的shard发出请求，各分片只返回排序和排名相关的信息（注意，不包括文档document)，然后按照各分片返回的分数进行重新排序和排名，取前size个文档。问题1：假如集群一个节点有10个分片，词语“土豆”在分片的相关性从分片0到分片9依次降低（即分片0存储词语“土豆”相关性最大，分片9相关性最小），如果搜索词语“土豆”需要10个分片的计算；问题2：如果针对特定的分片进行搜索，因为词语“土豆”在每个分片的相关性不一致，可能返回的结果也存在偏差。
ElasticSearch：剖析query_and_fetch和query_then_fetch的区别
白色咖啡
06-08 1万+
在ElasticSearch实际使用中遇到了一个问题，就是在数据量很大的情况下做聚合查询（aggregation）会导致内存溢出。当时看了文档，猜测修改search_type能避免内存溢出。实际测试发现，在数据量相同的情况下，search_type设置为query_and_fetch的聚合查询不会导致内存溢出，而默认的query_then_fetch则会内存溢出。本文就从源码层面分析这两种searc
Elasticsearch搜索类型(query type)详解
donlian的专栏
07-20 1287
关于我，邯郸人。 对这类话题感兴趣？欢迎发送邮件至donlianli@126.com 请支持原创http://donlianli.iteye.com/blog/2094305 es在查询时，可以指定搜索类型为QUERY_THEN_FETCH,QUERY_AND_FEATCH,DFS_QUERY_THEN_FEATCH和DFS_QUERY_AND_FEATCH。那么这4种搜索...
Elasticsearch的query then fetch和dfs query then fetch
不见其长，日有所长
11-12 2791
1. 前言 在使用Elasticsearch的时候，有时会遇到这种评分问题： 为何文档“drunk”分数为1.0，而其余的分数是0.3？难道这些文档不应该是相同的分数么，因为他们都同等地匹配了“d”。答案是肯定的，但是这个分数本身也有比较合理的地方。ES评分相关可参考：Elasticsearch相关度评分算法 $ curl -XGET localhost:9200/startswith/test/_search?pretty -d '{ "query": { "match_p
Query And Fetch & Query Then Fetch & DFS Query And Fetch & DFS Query Then Fetch
weixin_33851177的博客
06-15 359
2019独角兽企业重金招聘Python工程师标准>>> ...
理解“query then fetch”和“dfs query then fetch”
大叶子不小的博客
01-31 1012
为何文档“drunk”分数为1.0，而其余的分数是0.3？难道这些文档不应该是相同的分数么，因为他们都同等地匹配了“d”。答案是肯定的，但是这个分数本身也有比较合理的地方。
Elasticsearch查询优化：理解Search的Query-Then-Fetch策略与相关性算分
在深入理解Elasticsearch搜索的运行机制时，我们首先要了解搜索过程分为两个关键阶段：Query阶段和Fetch阶段。这两个阶段构成了Query-Then-Fetch的基本工作流程。 Query阶段是搜索过程的初始步骤，它负责解析和执行...
Elasticsearch源码分析十四--搜索类型
Nireus的博客
05-16 3059
Elasticsearch源码分析十四–搜索类型 简介 query_then_fetch query_and_fetch dfs_query_and_fetch dfs_query_then_fetch count scan 简介Elasticsearch允许通过指定搜索类型来选择查询在内部如何处理。不同的搜索类型适合不同的情况；可以只在乎性能，但有时查询的关联性可能是最重要的因素。使用search
Solr4.0(SolrCloud) & ElasticSearch(ES) 比较（三）：查询方式(query_then_fetch)
Po Rui的专栏
07-05 3654
this article provide by my co-worker Miles Li ElasticSearch VS Solr in searching 1 Solr is slower than ElasticSearch in searching through testing. We try to find root cause.   The following
elasticsearch查询原理query-fetch分析
u013905744的专栏
11-11 4056
es的查询dsl有很多种类型，比如match query，term query, filter, 关于elasticsearch query 各种dsl可以参考：elastic search query dsl查询语法总结 这篇文章不详细展开具体的区别，仅对完整的流程做一个分析 查询分为两个阶段：query阶段和fetch阶段 query阶段 1、客户端发送请求到任意一个coordinate node（节点默认就为coordinate node） 构建一个priority queue，长度以paging操作
es查询的两阶段Query阶段和Fetch阶段
qq_40708942的博客
07-20 1232
DFS在进行真正查询之前,会先把各个分片的词频率和文档频率收集一下,然后进行词搜索的时候,各分片依据全局的词频率和文档频率进行搜索和排名.node1整合3个分片返回的from + size个文档id,根据排序值排序后选取from到from+size的文档id;显然使用dfs_query_then_fetch这种查询方式,效率比较低,因为一个搜索,可能要请求三次,但是搜索精度比较高.query的时候,3个node中的一个会接受用户的search请求,比如node1;3个分片返回文档详细数据。
Java对ES的基本操作
热门推荐
dkingyaoyao的博客
10-30 4万+
1.首先介绍一下ES的查询类型，SearchType。     ES一共有四种查询类型：     QUERY_AND_FETCH：主节点将查询请求分发到所有的分片中，各个分片按照自己的查询规则即词频文档频率进行打分排序，然后将结果返回给主节点，主节点对所有数据进行汇总排序然后再返回给客户端，此种方式只需要和ES交互一次。      特点：a.存在数据量和排序问题，主节点会汇总所有分片返回的数...
Elasticsearch 内核解析 -查询篇
程序媛
10-13 713
我们仍然先从Elasticsearch的两个身份：NoSQL和Search领域的查询区别说起。 读操作 实时性和《Elasticsearch内核解析 - 写入篇》中的“写操作”一样，对于搜索而言是近实时的，延迟在100ms以上，对于NoSQL则需要是实时的。 一致性指的是写入成功后，下次读操作一定要能读取到最新的数据。对于搜索，这个要求会低一些，可以有一些延迟。但是对于NoSQL数据库，则一般要求最好是强一致性的。 结果匹配上，NoSQL作为数据库，查询过程中只有符合不符合两种情况，而搜索里面还有是
（转载）ElasticSearch查询流程详解
weixin_39774284的博客
03-06 1354
转载ElasticSearch查询流程详解
elasticsearch中四种常见的相关度分数优化方法
tiancityycf的专栏
12-23 1602
对相关度评分进行调节和优化的常见的4种方法 1、query-time boost 查询的时候设置query的boost. 增加权重 2、重构查询结构.如should中嵌套bool。 3、negative boost 包含了negative term的doc，分数乘以negative boost，分数降低 4、constant_score 如果你压根儿不需要相关度评分，直接走constant_score加filter，所有的doc分数都是1，没有评分的概念了 1、query-time boost
ElasticSearch之分布式查询过程分析
最新发布
wang0907的博客
03-05 1511
本文一起看下es分布式查询的过程。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

九师兄

你的鼓励是我做大写作的动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值