Elasticsearch 7 以上版本显示hits.total超过10000条设置

Elasticsearch 查询优化与ES-SQL使用示例
原创 已于 2022-07-23 17:29:40 修改 · 1.9k 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#elasticsearch #大数据 #搜索引擎

于 2022-07-23 17:27:15 首次发布
本文介绍了如何在Elasticsearch中通过添加`rest_total_hits_as_int=true`参数进行查询优化，以及如何使用ES-SQL方式查询，并提供了一个具体的请求示例，展示了如何在SQL查询中添加`TRACK_TOTAL_HITS(true)`来获取总记录数。请求包括了HTTP请求地址、头部信息和请求参数，返回值展示了查询结果。

1.header查询

添加rest_total_hits_as_int=true即可

 

2.使用es-sql的方式查询

需要在sql里面添加 /*! TRACK_TOTAL_HITS(true) */或者用/*! TRACK_TOTAL_HITS(10001) */直接限制记录数量查询即可

 请求地址
http://172.21.72.165:9200/_nlpcn/sql
请求头
Content-Type:application/json
Authorization:Basic ZWxhc3RpYzoxMjM0NTY=
请求入参
{
    "sql": "select /*! TRACK_TOTAL_HITS(true) */is_active,cur_mon_package_order_cnt  from mcc_sub_extend_001_es_20211211 limit 1"    

最低0.47元/天 解锁文章
Kibana查询ES显示hits.total.value最大值10000的解决方法
qq_28834355的博客
09-22 9271
问题 正常在查询所有数据时，kibana显示的总记录数最多只会有10000 GET /jm/_search { "query":{ "match_all": { } } } 解决 查询时加上"track_total_hits": true即可，就能正确的显示总记录数了 GET /jm/_search { "track_total_hits": true, "query":{ "match_all": { } } } 官方解释如下 .
理解Elasticsearch返回结果中命中数total值的具体含义
热门推荐
zhaojianting的博客
11-27 2万+
欢迎关注鄙人公众号，技术干货随时看！   自从Elasticsearch5.X进行了大改版以后，返回结果中命中数total值具体含义也变得复杂，可以说默认情况下total值不再确保准确。下面是查询时返回结果的格式： 1 { 2 "took" : 48, 3 "timed_out" : false, 4 "_shards" : { ...
ES7.x的查询语句及java查询语句
meng_xin_true的博客
04-28 2295
Elasticsearch 7.x 是一个基于 Lucene 的分布式搜索引擎，它提供了一个分布式全文搜索引擎，可以快速、准确地搜索、分析和存储海量数据。Elasticsearch 7.x 的主要特点包括：分布式架构：Elasticsearch 7.x 是一个分布式系统，它可以运行在多个节点上，每个节点都是相互独立的，并且数据会自动分片和复制到多个节点上，提高了系统的可用性和可扩展性。
elasticsearch 7.4.0查询时返回符合条件的全部文档数量（大于10000）
liaomingwu的专栏
01-18 3021
elasticsearch 7.4.0 查询时返回符合条件的文档数量（大于10000）
ES_记一次分页查询(getHits().getTotalHits() 获取总条目)为0的问题
daofengsuoxiang的博客
03-11 1万+
文章目录问题描述问题原因解决办法查找总结 问题描述 ES分页查询的代码如下： SearchResponse searchResponse = highLevelClient.search(searchRequest, RequestOptions.DEFAULT); long totalNum = searchResponse.getHits().getTotalHits(); //返回的是l...
ElasticSearch hits.total.value超过1万就显示 10000 的问题处理
张俊杰 的博客
06-27 604
searchSourceBuilder.trackTotalHits(true); 设置一下即可
Elasticsearch 查询10000条限制与totalhits值最大10000的解决
weixin_43876919的博客
11-28 1万+
今天测试写的ES查询接口发现total值最大为10000，而且查询出的值也只有10000条多一条就报错，那怎么能行呢，必须的全查出来，于是根据报错进行了以下操作 然后进行了测试发现查询出的数据条数限制已经没有了，但是获取到的totalHits值还是10000，这样可不行，在进行了资料检索（百度）之后发现之前有人遇到过而且已经解决了，并且有源码的具体对应方法的截图 参考链接：https://ela...
elasticsearch7.x和6.x版本分别在php中的变更细节
gztrljh
02-10 423
创建索引 es6 // 生成房源信息索引 public function esinit() { // 得到es客户端对象 $client = ClientBuilder::create()->setHosts(config('es.host'))->build(); // 创建索引 $params = [ // 生成索引的名称 'index' => 'fang',
springboot集成elasticsearch 8.0以上版本
weixin_46501729的博客
05-27 6589
现在的elasticsearch已经更新到8.2版本，网络上的学习资料基本都是8.0以下的版本。elasticsearch官方在8.0版本以后，已经舍弃了High level rest clint Api，推荐使用java clint api。所以再参照8.0以下版本的资料进行学习已经非常不适合。依据如下图1-1： 图1-1 由于本人在学习过程中，查找网上学习资料都是8.0以下的资料，许多地方都不适用，非常痛苦。所以在此记录本人在学习过程中的知识，以便后面学习8.0以上...
Elasticsearch搜索返回值默认最大为10000解决方案
Java程序员--郭小瑜
05-13 4490
以下为查询简单的查询elasticsearch索引例子： curl -XPOST http://es-ip:9200/_search -d '{ "size" : 0}' 返回JSON： { "took":1, "timed_out":false, "_shards":{ "total":2, "successful":2, "skipped":0, "failed":0 }, "hits":{
【ES】--track_total_hits参数影响ES分页数据
寻梦友的博客
10-11 5106
工作遇到一个ES深度分页查询时出现报错，报错内容如下出现这个问题的原因是：ES为了避免用户的过大分页请求造成ES服务所在机器内存溢出，默认对深度分页的条数进行了限制，默认的最大条数是10000条。
【Elasticsearch】track_total_hits
risc123456的博客
05-28 766
在 Elasticsearch 中，`track_total_hits` 是一个查询参数，用于控制是否精确计算搜索结果的总命中数（`total hits`）。从 Elasticsearch 7.0 开始，`track_total_hits` 参数被引入，以提供更灵活的控制。如果你对总命中数的精确性要求不高，可以将 `track_total_hits` 设置为 `false`，以提高查询性能。如果你需要精确的总命中数，无论结果集大小如何，可以将 `track_total_hits` 设置为 `true`。
elasticsearch7.x java客户端 restHighLevelClient设置查询结果最大返回条数
qq_34168515的博客
10-14 4883
文章目录原生的创建索引的时候，put 的时候进行设置使用java客户单 restHighLevelClient 进行设置 原生的创建索引的时候，put 的时候进行设置 1.size的大小不能超过index.max_result_window这个参数的设置，默认为10,000。 2.需要搜索分页，可以通过from size组合来进行。from表示从第几行开始，size表示查询多少条文档。from默认为0，size默认为10; 可以动态进行设置。 索引库默认值设置为了最大允许值：2147483647 _sett
Elasticsearch查询中的track_total_hits参数
最新发布
u010865136的专栏
08-18 502
是 Elasticsearch 查询中的一个参数，它控制是否跟踪匹配查询的总命中数。
Elasticsearch：如何在搜索时得到精确的总 hits 数
Elastic 中国社区官方博客
01-26 9314
从Elasticsearch 7.0之后，为了提高搜索的性能，在hits字段中返回的文档数有时不是最精确的数值。Elasticsearch限制了最多的数值为10000。 当文档的数值大于10000时，返回的total数值为10000，并在relation中指出gte。 我们可以做如下的一个实验。启动Kibana: 然后选中“Add data”: 这样我们就把Sample ...
ElasticSearch第3篇 大数据处理3大问题（“10000条”问题解决方案、hits total值统计总数不精确解决方案、大数据深度分页性能问题3种优化方案）
weixin_42100387的博客
07-28 745
ElasticSearch第3篇 大数据处理3大问题（“10000条”问题解决方案、hits total值统计总数不精确解决方案、大数据深度分页性能问题3种优化方案）
深入理解查准率与查全率
zhaojianting的博客
03-22 2万+
欢迎关注鄙人公众号，技术干货随时看！ 查准率与查全率（召回率）是在信息检索与机器学习领域常用的衡量指标，书籍或网络上有非常多的定义，敝人在重温周志华先生《机器学习》一书时，发现书中的定义是非常科学的，而且把这两个指标根据混淆矩阵进行了数学化！ 在信息检索领域的定义：检索出的n个文档中正确结果（m个结果是正确的）的比率即是查准率，即p=n/m；假设在所有的数据中正确结果有n个，一次检索...
ES命令： “track_total_hits“:true
我的博客
07-07 2万+
搜索type全部数据 GET test/movie/_search 结果 { "took": 2, //耗费时间 毫秒 "timed_out": false, //是否超时 "_shards": { "total": 5, //发送给全部5个分片 "successful": 5, "skipped": 0, "failed": 0 }, "hits": { "total": 3, //命中3条数据 "max_score
JSONObject _total = _hits.getJSONObject("total");
05-07
<think>好的，用户的问题是如何使用JSONObject从Elasticsearch的响应中正确获取total字段的值。我需要先回想一下Elasticsearch返回的JSON结构。通常，查询结果中的总命中数位于hits.total.value路径下。但有时候版本不同可能会有变化，比如旧版本可能直接是hits.total。 用户提到的引用[1]里提到解析hits和aggregations，其中处理hits的部分。所以应该指导用户先获取顶层的hits对象，然后从中提取total。可能需要注意不同ES版本的结构差异，比如是否total是一个对象还是直接数值。 接下来要考虑用户使用的是JSONObject库，可能是org.json或者阿里巴巴的fastjson。但通常代码示例中使用getJSONObject和getLong等方法。需要确保用户正确访问嵌套结构，比如从根对象获取"hits"，然后从hits中获取"total"，再取"value"。如果用户遇到null的情况，可能需要检查路径是否正确，或者是否存在异常情况，比如没有结果时的结构变化。 另外，用户可能遇到版本兼容问题，所以需要提醒他们根据实际ES版本来调整路径。例如，如果ES版本较旧，可能直接是hits.total而不是hits.total.value。这时候需要判断是否存在value字段，或者直接获取total的数值。 最后，确保代码示例正确，并添加异常处理和版本判断的建议，帮助用户避免常见错误。同时，相关问题可以引导用户进一步处理分页或解析结果，扩展他们的应用场景。</think>要正确从Elasticsearch的`_hits`对象中获取`total`字段值，需通过JSONObject逐层解析嵌套结构。以下是具体实现步骤和代码示例： --- ### 步骤说明 1. **获取顶层hits对象** 通过`getJSONObject("hits")`定位到查询结果的核心区域 2. **提取total字段** Elasticsearch 7.x+版本中，`total`是包含`value`属性的对象，需调用`getJSONObject("total").getLong("value")` 3. **版本兼容处理** 旧版本可能直接返回数值型`total`字段，需用`optLong`方法兼容两种情况 --- ### 示例代码 ```java JSONObject response = ... // 从ES获取的原始响应 JSONObject hits = response.getJSONObject("hits"); long total; // 新版ES（total是对象） if (hits.has("total") && hits.get("total") instanceof JSONObject) { total = hits.getJSONObject("total").getLong("value"); } // 旧版ES（total是数值） else { total = hits.optLong("total", 0); // 第二个参数为默认值 } ``` --- ### 关键点说明 - **结构差异**：Elasticsearch 7.0+将`total`改为对象形式以支持精确计数[^1]，例如： ```json "hits": { "total": { "value": 100, "relation": "eq" } } ``` - **异常处理**：建议用`optLong`替代`getLong`避免空指针异常，例如当`total`字段不存在时返回默认值0 - **分页应用**：获取`total`后可用于计算分页总数：`pageCount = (total + pageSize - 1) / pageSize` ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值