ES的总数超过1万条之后，普通的查询query然后match_all的时候hits里面的total始终只显示一个一万的解决办法

最新推荐文章于 2025-08-18 19:15:36 发布
原创 最新推荐文章于 2025-08-18 19:15:36 发布 · 3.9k 阅读 · 2 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#es

当Elasticsearch中数据总量超过一万条时，普通查询的total显示受限。本文介绍三种有效解决办法：启用track_total_hits，使用_count API，及通过_id去重统计。每种方法适用场景不同，具体效率需根据数据量测试。

ES的总数超过1万条之后，普通的查询query然后match_all的时候hits里面的total始终只显示一个一万的解决办法：

第一种解决办法：设置 "track_total_hits":true

GET index-*/_search
{
  "query": {
    "match_all": {}
  },
  "track_total_hits":true
}

第二种解决办法：直接_count就可以拿到   ---适用于在kibana中查询

GET index-*/_count
{
  
}

第三种方法：

直接根据_id去重统计

 

首先这三种方法都是可行的，对于这三种办法的效率问题需要看具体的数据量来定。具体的效率测试我自己也没做

如果有做过效率测试的欢迎留言

【Elasticsearch只查询10000条数据解决方案】
哎呦，码鸭的博客
11-24 2631
解决Elasticsearch默认条数限制查询 Elasticsearch官方讲解 在Elasticsearch中默认限制索引查询最多只能查询10000条数据，查询的条数超出这个值就会报错但是莫得慌，通过阅览了网友们的众多说法以及ES官方的资料得知，影响查询的是该配置 max_result_window，我们都知道很多时候10000数据不能满足项目的需求，因此我们需要自己来设置这个默认值。 解决方案： 方案①在kibana中创建索引时加上该设置 “settings”:{ "index":{ "max_
es查询大文本效率_Elasticsearch 技术分析（七）： Elasticsearch 的性能优化
weixin_39672296的博客
12-20 615
javajava8java开发Elasticsearch 技术分析(七)： Elasticsearch 的性能优化 硬件选择Elasticsearch(后文简称 ES)的基础是 Lucene，所有的索引和文档数据是存储在本地的磁盘中，具体的路径可在 ES 的配置文件../config/elasticsearch.yml中配置，如下：# --------------------...
Elasticsearch 查询10000条限制与totalhits值最大10000的解决
weixin_43876919的博客
11-28 1万+
今天测试写的ES查询接口发现total值最大为10000，而且查询出的值也只有10000条多一条就报错，那怎么能行呢，必须的全查出来，于是根据报错进行了以下操作 然后进行了测试发现查询出的数据条数限制已经没有了，但是获取到的totalHits值还是10000，这样可不行，在进行了资料检索（百度）之后发现之前有人遇到过而且已经解决了，并且有源码的具体对应方法的截图 参考链接：https://ela...
ES 查询 hits 统计总数不准？如何解决？原来默认最大值 10000
dying 搁浅
07-26 6920
ES 查询 hits 统计总数不准？默认最大值 10000 当我们使用 ES 的时候，有时会比较关心匹配到的文档总数是多少，所以在查询得到结果后会使用 hits.tatal.value 这个值作为匹配的总数，如下 { "took" : 1, "timed_out" : false, "_shards" : { "total" : 3, "successful" : 3, "skipped" : 0, "failed" : 0 }, "hits" : {
错误解决：ElasticSearch SearchResponse的Hits[]总是比totalHits少一条记录
08-31 1502
错误解决：ElasticSearch SearchResponse的Hits[]总是比totalHits少一条记录
ES 多次查询结果不一致，有哪些可能？
qq_33999844的博客
03-15 3343
ES的搜索应用场景非常丰富，在极端情况下可能会出现同语句多次查询结果不一致的情况，特别是全文检索有打分的场景下。 一般ES如果碰到同一个语句多次查询结果不一致的情况（数量不一致/顺序不一致），一般是如下几种case...
_count 和 _search无条件过滤查询的hits.total.value不一致
weixin_46631108的博客
10-27 634
track-total-hits
ElasticSearch从入门到精通，史上最全（持续更新，未完待续，每天一点点）
热门推荐
Null的博客
07-30 14万+
目录 1.ElasticSearch的简介 2.用数据库实现搜素的功能 3.ES的核心概念 3.1 NRT(Near Realtime)近实时 3.2 cluster集群，ES是一个分布式的系统 3.3 Node节点，就是集群中的一台服务器 3.4 index 索引（索引库） 3.5 type类型 3.6 document：文档 3.7 Field 字段 3.8 sha...
关于搜索elasticsearch的数据条数大于10000的坑 max_result_window的解决方案
feifeichongtian的博客
07-28 1605
关于这个问题我主要从5.6.x版本和7.10.x版本分析： 5.6.x版本：只需要一步即可 { "settings": { "index": { "number_of_shards": "1", "max_result_window": "1000000", "analysis": { "analyzer": { "keep_none_chinese_in_joined_full_p
elasticsearch中查询进阶（分页，布尔，高亮，聚合），mapping，settings，ignore_above等设置
YxinMiracle's Studio.
02-01 1360
????目录 文章目录????目录进阶查询sort排序分页查询只要指定的数据量布尔查询must关键字--andshould关键字--ormust_not关键字--notfilter关键字--大于小于减少输出字段，结果过滤高亮查询自己加样式聚合函数求平均年龄（avg），其中的`my_avg`就相当与一个别名求最大的年龄值（max）：求和（sum）：分组查询（range）左包右不包Mapping映射是什么？映射类型字段的数据类型映射约束mappings之dynamic的三种状态前言动态（"dynamic":tr
关于ES查询大于10000条问题
日薪灬越亿的博客
07-12 2158
es官方默认限制索引查询最多只能查询10000条数据，查询第10001条数据开始就会报错： Result window is too large, from + size must be less than or equal to 但是很多时候10000数据不能满足项目的需求，所以我们就要解除这个限制。 track_total_hits 参数设置true即可。 查询示例： http://ip:port/indexName/_search { "track_total_hits":true,
es7.x在查询时，必须加上track_total_hits，不然就只显示10000
fangletian1981的专栏
04-16 7317
{ "track_total_hits": true, "query": { "range": { "ts": { "gte": 0 } } } }
【Elasticsearch】track_total_hits
risc123456的博客
05-28 795
在 Elasticsearch 中，`track_total_hits` 是一个查询参数，用于控制是否精确计算搜索结果的总命中数（`total hits`）。从 Elasticsearch 7.0 开始，`track_total_hits` 参数被引入，以提供更灵活的控制。如果你对总命中数的精确性要求不高，可以将 `track_total_hits` 设置为 `false`，以提高查询性能。如果你需要精确的总命中数，无论结果集大小如何，可以将 `track_total_hits` 设置为 `true`。
Elasticsearch Collapsing 字段折叠使用详解_字段折叠后数量结果Total不准确解决方法
胡老汉的博客
12-30 3502
在 Elasticsearch 5.x 有一个字段折叠（Field Collapsing）的功能非常有用，在这里分享一下 前言 在电商商品中有分SKU和SPU sku是和商品的库存相关的一个概念。比如air max90、蓝色、40码的nike跑鞋，就是一个sku。你可以设置这个sku的价格、库存。 spu是标类商品的一个概念。所谓标类简单理解就是有型号的商品，比如 air max90、蓝...
Elasticsearch查询中的track_total_hits参数
最新发布
u010865136的专栏
08-18 525
是 Elasticsearch 查询中的一个参数，它控制是否跟踪匹配查询的总命中数。
ES命令： “track_total_hits“:true
我的博客
07-07 2万+
搜索type全部数据 GET test/movie/_search 结果 { "took": 2, //耗费时间 毫秒 "timed_out": false, //是否超时 "_shards": { "total": 5, //发送给全部5个分片 "successful": 5, "skipped": 0, "failed": 0 }, "hits": { "total": 3, //命中3条数据 "max_score
【ES】--track_total_hits参数影响ES分页数据
寻梦友的博客
10-11 5158
工作遇到一个ES深度分页查询时出现报错，报错内容如下出现这个问题的原因是：ES为了避免用户的过大分页请求造成ES服务所在机器内存溢出，默认对深度分页的条数进行了限制，默认的最大条数是10000条。
es searchResponse.getHits.getTotalHits 获取不到总条数异常
qq_43248658的博客
03-13 1167
2.客户端es版本为6.8.3以下时（不包括6.8.2（查看后发现在6.8.2时虽然也加入了rest_total_hits_as_int 参数，但是实际并未生效未查询到具体原因））在使用es做分页查询时用searchResponse.getHits.getTotalHits 获取不到总条数，导致总条数为，引发页面分页组件异常。2.升级客户端至6.8.3以上（包括6.8.3）1.升级客户端和服务端同样版本。1.服务端为es7.0以上时。
解决springboot 2.0集成elasticsearch 7.6.2 查询总数为10000
m0_67391870的博客
08-30 1189
据查询相关资料，在elasticsearch 7.x以后的版本，当查询的结果总数大于1万时，默认total返回总数为10000。在kibana获取真实总数，只需要加添加 track_total_hits 参数。在springboot项目中，增加配置。小伙伴们，你们好，我是老寇。...
es 查询关键字match_all
04-26
<think>好的，用户现在想了解Elasticsearch中match_all查询的使用方法和示例。首先，我需要回忆一下match_all的基本作用，它是用来匹配所有文档的查询，通常用于测试或需要返回全部数据的情况。用户可能是在做数据导出或者测试连接时用到这个查询。 接下来，查看用户提供的引用内容。引用[2]中有一个Java API的示例，使用了QueryBuilders.matchAllQuery()，并展示了如何执行查询和处理结果。引用[3]提到了match_all查询在bool查询中的使用，但用户明确询问的是match_all本身，所以可能需要重点放在基础用法上。 用户之前的问题是关于词组匹配，现在转向match_all，可能是在学习不同的查询类型。需要确保回答结构清晰，分步骤说明，并提供不同场景的示例，比如基础查询、分页、排序以及结合其他查询使用的情况。 还要注意用户提到的系统级指令，比如使用正确的LaTeX格式，但在这个问题中可能涉及较少。需要检查是否有需要强调的技术细节，比如字段类型或性能影响。例如，使用match_all时要注意分页以避免性能问题，这在回答中应该提到。 另外，用户希望生成相关问题，可能需要围绕match_all的应用场景、性能优化、与其他查询的区别来设计问题。比如，match_all在分页中的应用，或者与match查询的区别。 最后，确保回答中的代码示例正确，并参考了用户提供的引用内容，尤其是Java API的部分，以保持一致性。同时，提醒用户在实际使用中谨慎，避免返回过多数据导致性能下降。</think>以下是关于Elasticsearch中`match_all`查询的详细说明及使用示例： --- ### 一、`match_all`查询的核心作用 `match_all`是Elasticsearch中最基础的查询类型，**用于匹配索引中的所有文档**。常用于以下场景： 1. **测试索引数据连通性** 2. **导出全量数据** 3. **与其他查询组合时作为默认匹配条件**[^3] --- ### 二、基础语法实现 #### 1. REST API用法 通过简单的JSON结构匹配全部文档： ```json GET /your_index/_search { "query": { "match_all": {} } } ``` - **示例响应**：返回索引中所有文档的`_source`内容 #### 2. 分页与排序扩展 通过`from/size`实现分页，`sort`添加排序规则： ```json GET /products/_search { "query": { "match_all": {} }, "from": 0, "size": 10, "sort": [ { "price": "desc" } ] } ``` --- ### 三、Java API实现 通过`QueryBuilders`工具类构建查询[^2]： ```java // 创建match_all查询对象 QueryBuilder query = QueryBuilders.matchAllQuery(); // 执行查询（带分页参数） SearchResponse response = client.prepareSearch("your_index") .setQuery(query) .setFrom(0) .setSize(20) .addSort("create_time", SortOrder.DESC) .get(); // 处理结果集 SearchHits hits = response.getHits(); for (SearchHit hit : hits) { System.out.println(hit.getSourceAsString()); } ``` --- ### 四、组合查询场景 #### 1. 与过滤条件结合 在`bool`查询中作为兜底匹配： ```json { "query": { "bool": { "should": [ { "term": { "category": "electronics" } }, { "match_all": {} } ], "minimum_should_match": 1 } } } ``` *说明：当无电子产品时仍返回其他文档* #### 2. 加权评分 通过`boost`参数调整相关性权重： ```json "match_all": { "boost": 0.1 // 降低默认评分 } ``` --- ### 五、注意事项 1. **性能影响** 全量查询会遍历所有分片，建议配合`scroll API`处理大数据量导出[^2] 2. **结果过滤** 可通过`_source`参数限制返回字段： ```json "_source": ["id", "name"] ``` ---
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值