elasticsearch相同查询语句返回doc_count解决在一定范围变化

最新推荐文章于 2024-04-30 19:08:44 发布
转载 最新推荐文章于 2024-04-30 19:08:44 发布 · 1.2k 阅读 · 0 ·
CC 4.0 BY-SA版权
原文链接：https://my.oschina.net/u/2367628/blog/777457
文章标签：

#大数据 #python #java

本文介绍了如何通过设置Elasticsearch的preference参数来优化查询性能。主要包括五种查询优先级的详细解释，如_primary和_primary_first等，并给出了具体的Java调用示例。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

2019独角兽企业重金招聘Python工程师标准>>> hot3.png

解决方法： elasticsearch可以使用preference参数来指定分片查询的优先级，使用时就是在请求url上加上preference参数，如：http://ip:host/index/_search?preference=_primary

java的调用接口翻译为：client.prepareSearch(“index”).setPreference(“_primary”)。

默认情况下es有5种查询优先级：

_primary: 指查询只在主分片中查询

_primary_first: 指查询会先在主分片中查询，如果主分片找不到（挂了），就会在副本中查询。

_local: 指查询操作会优先在本地节点有的分片中查询，没有的话再在其它节点查询。

_only_node:指在指定id的节点里面进行查询，如果该节点只有要查询索引的部分分片，就只在这部分 分片中查找，所以查询结果可能不完整。

转载于:https://my.oschina.net/u/2367628/blog/777457

es 去重统计_es 去重查询（聚合、分组、分页、求和统计等）
weixin_39631094的博客
03-04 1万+
elasticsearch(es) 如何针对指定字段进行去重相关查询，完成如聚合、分组、分页、类似求和统计等操作？获取所有的不同值es 获取指定字段所有可能的值，可以使用桶聚合的 terms 聚合，如下示例：GET {index}/_search{"size": 0,"aggs": {"distinct_aggs": {"terms": {"field": "status"}}}}如上示例，获取指...
Elasticsearch（ES）基础查询语法的使用
java1024p的博客
02-10 983
在 Elasticsearch 中，**聚合（Aggregation）**是一个强大的功能，用于对查询结果进行分组、统计、度量等操作。聚合查询不仅可以按字段进行分组，还可以进行计算（如求和、平均值等），在数据分析和可视化中非常有用。在 Elasticsearch 中，聚合查询并不返回实际的文档，而是返回聚合结果，例如每个分组的文档数量、平均值、最大值等。聚合查询不仅可以进行单一聚合，还可以进行嵌套聚合，即在一个聚合的结果上进行进一步的聚合。的字段，你想按类别进行分组查询，统计每个类别的文档数量。
Elasticsearch聚合之sum_other_doc_count问题
qq_35526951的博客
05-11 9471
一、问题分析 1）、doc_count_error_upper_bound：表示没有在这次聚合中返回，但是可能存在的潜在聚合结果。 2）、sum_other_doc_count：表示这次聚合中没有统计到的文档数。这个好理解，因为ES统计的时候默认只会根据count显示排名前十的分桶。如果分类（这里是目的地）比较多，自然会有文档没有被统计到。 二、解决办法 1）、不分片 设置主分片为1，也就是不分片了。这个显而易见，上面分析聚合不精确的核心原因就在于分片，所以不分片肯定可以解决问题。但是缺点也是显然的，只适用
ES聚合后根据 doc_count 进行过滤
yrx0619的专栏
05-21 6797
需求： 统计具有相同flow_id的日志数量，并过滤统计数量大于等于1000条的日志。 GET index_*/_search?size=0 { "aggs": { "age_terms": { "terms": { "field": "flow_id" }, "aggs":{ "having": { ...
ES聚合结果出现sum_other_doc_count大于0
LiuLei_2015的博客
03-29 1128
ES在聚合、检索数据时，为了保证效率，在不对数量做主动设置时，只会用最小量的数。检索文档默认只会查询10条数据，想必大家都知道。但是，聚合，也是如此。当我们给聚合字段没有设置size时，那ES“偷懒”就只会查询10条数据。所以，你会发现，即使你查询了100条数据，聚合时，只出现了10条。并且会有sum_other_doc_count大于0。如下图查询所示：当我我们把第一个聚合数据改成大于检索数据总量时，
ElasticSearch 入门总结
阿飞云漫步
08-19 3349
ElasticSearch 入门 课程视频地址：ElasticSearch 入门 一、ElasticSearch 简介 1.1、什么是ElasticSearch ​ 简称 ES 基于Apache Lucene 构建的 开源搜索引擎，提供一个分布式多用户能力的全文搜索引擎 采用 JAVA 编写的 ，提供简单易用的 RESTFul API（RESTFul web接口），当前流行...
Elasticsearch Query DSL之Term level queries
2401_84150107的博客
04-30 697
为什么我不完全主张自学？①平台上的大牛基本上都有很多年的工作经验了，你有没有想过之前行业的门槛是什么样的，现在行业门槛是什么样的？以前企业对于程序员能力要求没有这么高，甚至十多年前你只要会写个“Hello World”，你都可以入门这个行业，所以以前要入门是完全可以入门的。②现在也有一些优秀的年轻大牛，他们或许也是自学成才，但是他们一定是具备优秀的学习能力，优秀的自我管理能力（时间管理，静心坚持等方面）以及善于发现问题并总结问题。
"profile" : { "shards" : [ { "cluster" : "(local)", "searches" : [ { "query" : [ { "children" : [ { "breakdown" : { "set_min_competitive_score_count" : 0, "match_count" : 0, "shallow_advance_count" : 0, "set_min_competitive_score" : 0, "next_doc" : 1293, "match" : 0, "next_doc_count" : 2, "score_count" : 0, "compute_max_score_count" : 0, "compute_max_score" : 0, "advance" : 0, "advance_count" : 0, "count_weight_count" : 0, "score" : 0, "build_scorer_count" : 6, "create_weight" : 705, "shallow_advance" : 0, "count_weight" : 0, "create_weight_count" : 1, "build_scorer" : 446734 }, "description" : "_id:([fe 1f])", "type" : "MultiTermQueryConstantScoreBlendedWrapper", "time_in_nanos" : 448732 }, { "breakdown" : { "set_min_competitive_score_count" : 0, "match_count" : 0, "shallow_advance_count" : 0, "set_min_competitive_score" : 0, "next_doc" : 0, "match" : 0, "next_doc_count" : 0, "score_count" : 0, "compute_max_score_count" : 0, "compute_max_score" : 0, "advance" : 89566, "advance_count" : 2, "count_weight_count" : 0, "score" : 0, "build_scorer_count" : 6, "create_weight" : 631, "shallow_advance" : 0, "count_weight" : 0, "create_weight_count" : 1, "build_scorer" : 41989 }, "description" : "FieldExistsQuery [field=_primary_term]", "type" : "FieldExistsQuery", "time_in_nanos" : 132186 } ], "breakdown" : { "set_min_competitive_score_count" : 0, "match_count" : 0, "shallow_advance_count" : 0, "set_min_competitive_score" : 0, "next_doc" : 94223, "match" : 0, "next_doc_count" : 2, "score_count" : 0, "compute_max_score_count" : 0, "compute_max_score" : 0, "advance" : 0, "advance_count" : 0, "count_weight_count" : 0, "score" : 0, "build_scorer_count" : 4, "create_weight" : 78261, "shallow_advance" : 0, "count_weight" : 0, "create_weight_count" : 1, "build_scorer" : 586996 }, "description" : "+_id:([fe 1f]) #FieldExistsQuery [field=_primary_term]", "type" : "BooleanQuery", "time_in_nanos" : 759480 } ], "rewrite_time" : 60099, "collector" : [ { "reason" : "search_query_phase", "children" : [ { "reason" : "search_top_hits", "name" : "SimpleTopScoreDocCollector", "time_in_nanos" : 7047 } ], "name" : "QueryPhaseCollector", "time_in_nanos" : 24342 } ] } ], "shard_id" : 0, "index" : "cn_zhihui_flowbase_replay_result_2021-07", "id" : "[488T3UaYQfOtLPgUGaXhXw][cn_zhihui_flowbase_replay_result_2021-07][0]", "aggregations" : [ ], "node_id" : "488T3UaYQfOtLPgUGaXhXw" }, { "cluster" : "(local)", "searches" : [ { "query" : [ { "children" : [ { "breakdown" : { "set_min_competitive_score_count" : 0, "match_count" : 0, "shallow_advance_count" : 0, "set_min_competitive_score" : 0, "next_doc" : 1199, "match" : 0, "next_doc_count" : 3, "score_count" : 0, "compute_max_score_count" : 0, "compute_max_score" : 0, "advance" : 0, "advance_count" : 0, "count_weight_count" : 0, "score" : 0, "build_scorer_count" : 9, "create_weight" : 729, "shallow_advance" : 0, "count_weight" : 0, "create_weight_count" : 1, "build_scorer" : 59218 }, "description" : "_id:([fe 1f])", "type" : "MultiTermQueryConstantScoreBlendedWrapper", "time_in_nanos" : 61146 }, { "breakdown" : { "set_min_competitive_score_count" : 0, "match_count" : 0, "shallow_advance_count" : 0, "set_min_competitive_score" : 0, "next_doc" : 0, "match" : 0, "next_doc_count" : 0, "score_count" : 0, "compute_max_score_count" : 0, "compute_max_score" : 0, "advance" : 5230, "advance_count" : 3, "count_weight_count" : 0, "score" : 0, "build_scorer_count" : 9, "create_weight" : 486, "shallow_advance" : 0, "count_weight" : 0, "create_weight_count" : 1, "build_scorer" : 28277 }, "description" : "FieldExistsQuery [field=_primary_term]", "type" : "FieldExistsQuery", "time_in_nanos" : 33993 } ], "breakdown" : { "set_min_competitive_score_count" : 0, "match_count" : 0, "shallow_advance_count" : 0, "set_min_competitive_score" : 0, "next_doc" : 9962, "match" : 0, "next_doc_count" : 3, "score_count" : 0, "compute_max_score_count" : 0, "compute_max_score" : 0, "advance" : 0, "advance_count" : 0, "count_weight_count" : 0, "score" : 0, "build_scorer_count" : 6, "create_weight" : 93906, "shallow_advance" : 0, "count_weight" : 0, "create_weight_count" : 1, "build_scorer" : 135863 }, "description" : "+_id:([fe 1f]) #FieldExistsQuery [field=_primary_term]", "type" : "BooleanQuery", "time_in_nanos" : 239731 } ], "rewrite_time" : 42980, "collector" : [ { "reason" : "search_query_phase", "children" : [ { "reason" : "search_top_hits", "name" : "SimpleTopScoreDocCollector", "time_in_nanos" : 7015 } ], "name" : "QueryPhaseCollector", "time_in_nanos" : 30710 } ] } ], "shard_id" : 0, "index" : "cn_zhihui_flowbase_replay_result_2021-12", "id" : "[488T3UaYQfOtLPgUGaXhXw][cn_zhihui_flowbase_replay_result_2021-12][0]", "aggregations" : [ ], "node_id" : "488T3UaYQfOtLPgUGaXhXw" }, { "cluster" : "(local)", "searches" : [ { "query" : [ { "children" : [ { "breakdown" : { "set_min_competitive_score_count" : 0, "match_count" : 0, "shallow_advance_count" : 0, "set_min_competitive_score" : 0, "next_doc" : 5535, "match" : 0, "next_doc_count" : 27, "score_count" : 0, "compute_max_score_count" : 0, "compute_max_score" : 0, "advance" : 0, "advance_count" : 0, "count_weight_count" : 0, "score" : 0, "build_scorer_count" : 81, "create_weight" : 713, "shallow_advance" : 0, "count_weight" : 0, "create_weight_count" : 1, "build_scorer" : 316615 }, "description" : "_id:([fe 1f])", "type" : "MultiTermQueryConstantScoreBlendedWrapper", "time_in_nanos" : 322863 }, { "breakdown" : { "set_min_competitive_score_count" : 0, "match_count" : 0, "shallow_advance_count" : 0, "set_min_competitive_score" : 0, "next_doc" : 0, "match" : 0, "next_doc_count" : 0, "score_count" : 0, "compute_max_score_count" : 0, "compute_max_score" : 0, "advance" : 20475, "advance_count" : 27, "count_weight_count" : 0, "score" : 0, "build_scorer_count" : 81, "create_weight" : 355, "shallow_advance" : 0, "count_weight" : 0, "create_weight_count" : 1, "build_scorer" : 116637 }, "description" : "FieldExistsQuery [field=_primary_term]", "type" : "FieldExistsQuery", "time_in_nanos" : 137467 } ], "breakdown" : { "set_min_competitive_score_count" : 0, "match_count" : 0, "shallow_advance_count" : 0, "set_min_competitive_score" : 0, "next_doc" : 40894, "match" : 0, "next_doc_count" : 27, "score_count" : 0, "compute_max_score_count" : 0, "compute_max_score" : 0, "advance" : 0, "advance_count" : 0, "count_weight_count" : 0, "score" : 0, "build_scorer_count" : 54, "create_weight" : 29703, "shallow_advance" : 0, "count_weight" : 0, "create_weight_count" : 1, "build_scorer" : 679931 }, "description" : "+_id:([fe 1f]) #FieldExistsQuery [field=_primary_term]", "type" : "BooleanQuery", "time_in_nanos" : 750528 } ], "rewrite_time" : 68918, "collector" : [ { "reason" : "search_query_phase", "children" : [ { "reason" : "search_top_hits", "name" : "SimpleTopScoreDocCollector", "time_in_nanos" : 18537 } ], "name" : "QueryPhaseCollector", "time_in_nanos" : 60503 } ] } ], "shard_id" : 0, "index" : "cn_zhihui_flowbase_replay_result_2025-05", "id" : "[488T3UaYQfOtLPgUGaXhXw][cn_zhihui_flowbase_replay_result_2025-05][0]", "aggregations" : [ ], "node_id" : "488T3UaYQfOtLPgUGaXhXw" }, { "cluster" : "(local)", "searches" : [ { "query" : [ { "children" : [ { "breakdown" : { "set_min_competitive_score_count" : 0, "match_count" : 0, "shallow_advance_count" : 0, "set_min_competitive_score" : 0, "next_doc" : 484, "match" : 0, "next_doc_count" : 1, "score_count" : 0, "compute_max_score_count" : 0, "compute_max_score" : 0, "advance" : 0, "advance_count" : 0, "count_weight_count" : 0, "score" : 0, "build_scorer_count" : 3, "create_weight" : 312, "shallow_advance" : 0, "count_weight" : 0, "create_weight_count" : 1, "build_scorer" : 25596 }, "description" : "_id:([fe 1f])", "type" : "MultiTermQueryConstantScoreBlendedWrapper", "time_in_nanos" : 26392 }, { "breakdown" : { "set_min_competitive_score_count" : 0, "match_count" : 0, "shallow_advance_count" : 0, "set_min_competitive_score" : 0, "next_doc" : 0, "match" : 0, "next_doc_count" : 0, "score_count" : 0, "compute_max_score_count" : 0, "compute_max_score" : 0, "advance" : 1599, "advance_count" : 1, "count_weight_count" : 0, "score" : 0, "build_scorer_count" : 3, "create_weight" : 179, "shallow_advance" : 0, "count_weight" : 0, "create_weight_count" : 1, "build_scorer" : 10225 }, "description" : "FieldExistsQuery [field=_primary_term]", "type" : "FieldExistsQuery", "time_in_nanos" : 12003 } ], "breakdown" : { "set_min_competitive_score_count" : 0, "match_count" : 0, "shallow_advance_count" : 0, "set_min_competitive_score" : 0, "next_doc" : 3653, "match" : 0, "next_doc_count" : 1, "score_count" : 0, "compute_max_score_count" : 0, "compute_max_score" : 0, "advance" : 0, "advance_count" : 0, "count_weight_count" : 0, "score" : 0, "build_scorer_count" : 2, "create_weight" : 17836, "shallow_advance" : 0, "count_weight" : 0, "create_weight_count" : 1, "build_scorer" : 61653 }, "description" : "+_id:([fe 1f]) #FieldExistsQuery [field=_primary_term]", "type" : "BooleanQuery", "time_in_nanos" : 83142 } ], "rewrite_time" : 23984, "collector" : [ { "reason" : "search_query_phase", "children" : [ { "reason" : "search_top_hits", "name" : "SimpleTopScoreDocCollector", "time_in_nanos" : 3586 } ], "name" : "QueryPhaseCollector", "time_in_nanos" : 13213 } ] } ], "shard_id" : 0, "index" : "cn_zhihui_flowbase_replay_result_2021-09", "id" : "[7Jldh1R6TJmHEEPgG8gJJA][cn_zhihui_flowbase_replay_result_2021-09][0]", "aggregations" : [ ], "node_id" : "7Jldh1R6TJmHEEPgG8gJJA" }, { "cluster" : "(local)", "searches" : [ { "query" : [ { "children" : [ { "breakdown" : { "set_min_competitive_score_count" : 0, "match_count" : 0, "shallow_advance_count" : 0, "set_min_competitive_score" : 0, "next_doc" : 4740, "match" : 0, "next_doc_count" : 26, "score_count" : 0, "compute_max_score_count" : 0, "compute_max_score" : 0, "advance" : 0, "advance_count" : 0, "count_weight_count" : 0, "score" : 0, "build_scorer_count" : 78, "create_weight" : 284, "shallow_advance" : 0, "count_weight" : 0, "create_weight_count" : 1, "build_scorer" : 301518 }, "description" : "_id:([fe 1f])", "type" : "MultiTermQueryConstantScoreBlendedWrapper", "time_in_nanos" : 306542 }, { "breakdown" : { "set_min_competitive_score_count" : 0, "match_count" : 0, "shallow_advance_count" : 0, "set_min_competitive_score" : 0, "next_doc" : 0, "match" : 0, "next_doc_count" : 0, "score_count" : 0, "compute_max_score_count" : 0, "compute_max_score" : 0, "advance" : 21502, "advance_count" : 26, "count_weight_count" : 0, "score" : 0, "build_scorer_count" : 78, "create_weight" : 178, "shallow_advance" : 0, "count_weight" : 0, "create_weight_count" : 1, "build_scorer" : 101649 }, "description" : "FieldExistsQuery [field=_primary_term]", "type" : "FieldExistsQuery", "time_in_nanos" : 123329 } ]分析"profile": true性能分析报告，返回如何提升dsl的查询效率GET /cn_zhihui_flowbase_replay_result/_search { "profile": true, "query": { "bool": { "must": [ { "terms": { "_id": ["1"，"2"] } } ] } }, "from": 0, "size": 1000 }
最新发布
06-05
要优化带有`terms`查询（特别是针对`_id`字段）的DSL语句性能，可以通过Elasticsearch Profile报告的分析与针对性优化实现。以下是分步骤操作指南： --- ### 步骤1：生成Profile报告 在查询中添加`"profile": true...
七、ElasticSearch-高级查询操作三
tarcy的博客
04-29 1655
1、高亮查询 在进行关键字搜索时，搜索出的内容中的关键字会显示不同的颜色，称之为高亮。 Elasticsearch 可以对查询内容中的关键字部分，进行标签和样式(高亮)的设置。 在使用 match 查询的同时，加上一个 highlight 属性： pre_tags：前置标签 post_tags：后置标签 fields：需要高亮的字段 title：这里声明 title 字段需要高亮，后面可以为这个字段设置特有配置，也可以空 GET /my_index_data/_search {
es查询java代码如何排序_elasticsearch 查询聚合结果排序
weixin_39737757的博客
02-28 2441
一、查询结果按某个字段进行排序{"size" : 5,"query" : {"bool" : {"filter" : [{"range" : {"startTime" : {"from" : 1517046960000,"to" : 1517048760000}}}]}},"sort" : [{ "startTime" : { "order" : "desc"}}]}//javaApi设置查询数量...
[Elasticsearch] 常用查询和操作总结
不忘初心，好好沉淀
08-28 5万+
1. 取得某个索引中某个字段中的所有出现过的值这种操作类似于使用SQL的SELECT UNIQUE语句。当需要获取某个字段上的所有可用值时，可以使用terms聚合查询完成：GET /index_streets/_search?search_type=count { "aggs": { "uniq_streets": { "terms": { "field": "nam
Elasticsearch7学习笔记(下)
起岸星辰
04-13 1693
Elasticsearch是实时全文搜索和分析引擎，提供搜集、分析、存储数据三大功能；是一套开放REST和JAVA API等结构提供高效搜索功能，可扩展的分布式系统。它构建于Apache Lucene搜索引擎库之上。 本文是在学习 中华石杉老师的 Elasticsearch顶尖高手系列 的视频教程的过程中做的笔记，实际操作使用的Elasticsearch7而非视频教程中使用的版本；现在这套视频教程是免费公开的（网上直接搜索就有），强烈推荐大家去观看学习。 Elasticsearch7学习笔记(上) E
Elasticsearch中对文章进行索引和查重
★【World Of Moshow 郑锴】★
04-29 1022
要在Elasticsearch中对文章进行索引和查重，可以按照以下步骤操作：安装Elasticsearch并启动服务。安装Python的Elasticsearch客户端库，可以使用命令进行安装。编写Python代码，使用Elasticsearch客户端库对文章进行索引和查重。在more_like_this查询中指定了要比较的字段，设置了最小词频和最大查询词数
前台请求报：ERR_EMPTY_RESPONSE错误
Mr.小强的博客
11-28 3万+
上半年接手离职同事留下的项目现在出现问题了，需要解决一下。这个项目呢 现在基本就不在开发了平时出现问题了我就解决维护一下，不会再做较大拓展开发。所以对这也是有好多不明白的地方。说实话node我是没学过的，自己也没看过一直在搞java的，这次出现问题就记录一下 一、问题产生位置及现象： 平台SqlServer数据库更新后出现，启动服务器发现平台登录不上去且不报正确还是错误信息就只打印：ERR_E...
生产环境使用elasticsearch遇到的一些问题以及解决方法（不断更新）
热门推荐
云端分布式搜索技术
11-17 7万+
1.由gc引起节点脱离集群      因为gc时会使jvm停止工作，如果某个节点gc时间过长，master ping3次（zen discovery默认ping失败重试3次）不通后就会把该节点剔除出集群，从而导致索引进行重新分配。 解决方法： （1）优化gc，减少gc时间。（2）调大zen discovery的重试次数（es参数：ping_retries）和超时时间（es参数：ping_ti
elasticsearch字段distinct去重后统计的几种方案和适用场景
weixin_41876298的博客
06-20 2万+
为了实现类似等价的sql： SELECT COUNT(DISTINCT deviceID) FROM t_order_report; 为什么我要说类似等价呢？ 因为从精确性、性能等角度还是存在很大的差别！前置条件，场景为：        用户可以通过时间、套餐类型、订单状态等等查询条件，过滤出满足条件的设备数信息        因此使用deviceID+各种限制条件 作...
ERR_EMPTY_RESPONSE解决方案
青阳十五的专栏
05-15 3万+
解决方案依次尝试如下： 试过清理注册表。 ping 网站  DNS污染 修改host。 查看是否开启了代理，关闭所有代理。
用elasticsearch聚合函数实现distinct查询
yizich的专栏
06-28 7560
1.等价的sql SELECT DISTINCT field1,field2 FROM test_index.test_type  等价于 SELECT field1,field2 FROM test_index.test_type GROUP BY field1,field2   2.而group by的查询，在es中我们可以用Aggregation(聚合)去实现，等价的DSL查询...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值