设置es的返回数量超过10000条限制

ElasticSearch默认限制索引查询最多10000条数据,超出会报错。解决方案包括:动态设置`index.max_result_window`为20000,并在查询时使用`track_total_hits`为true,或者在创建索引时设定最大上限,并在代码中保持一致。

问题描述

ElasticSearch官方默认限制索引查询最多只能查询10000条数据,查询第10001条数据开始就会报错:

"reason”:"Result window is too large,from + size must be less than or equal to: [10000] but was [12000]

原因分析

elasticsearch中max_result_window有上限限制:默认10000。

解决方案

第一种解决方案

1.在请求时解除限制

设置查询最大上限20000

PUT _all/_settings

{
  "index.max_result_window": 20000
}

2.代码中解除限制并且设置最大返回值

在查询时候把 track_total_hits 设置为 true。

track_total_hits 设置为false禁用跟踪匹配查询的总点击次数

设置为true就会返回真实的命中条数。

        SearchSourceBuilder query = new SearchSourceBuilder();
        query.trackTotalHits(true);
        query.trackTotalHitsUpTo(20000);
        query.query(integratedQueryBuilder(searchConditionJson));

 3.在使用工具访问时添加track_total_hits设置

GET 索引名/_search
{
  "query": {
    "match_all": {}
  },
  "track_total_hits": true
}

 第二种解决方案

在创建索引时添加最大上限设置

{
  "settings": {
    "index": {
      "max_result_window": 20000
    }
  }
}

使用这种方式代码撰写时也要和第一种一样在代码中限制保持一致 

Elasticsearch中,有以下几种设置查询返回条数的方法: ### 方式一:修改索引的最大返回条数设置 可以通过API请求来调整索引的 `max_result_window` 参数,该参数决定了查询时能够返回最大文档数量。示例如下: ```json PUT /XXXXXXXXXXXX/_settings { "index": { "max_result_window": 2147483647 } } ``` 上述代码将指定索引(`XXXXXXXXXXXX`)的最大返回条数设置为 `2147483647`。若要更新所有索引的设置,可以使用如下请求: ```json PUT /_all/_settings { "index": { "max_result_window": 10000000 } } ``` 这样就把所有索引的最大返回条数设置为 `10000000` [^1]。 ### 方式二:使用 Scroll API 进行分页查询 当需要查询超过 `max_result_window` 限制的大量数据时,可以使用 Scroll API。以 Java 代码为例: ```java /** * @description: scrollId查询轨迹信息 * @param * @return: java.util.List<cn.uce.core.elasticsearch.document.BillTraceElasticSearchDocument> */ public SearchResponse findInfoDocByScroll2(String scrollId) { SearchResponse response = null; try { // 查询请求对象 // 获取文档配置 SearchScrollRequestBuilder srb = transportClient.prepareSearchScroll(scrollId); srb.setScroll(new TimeValue(30000)); // 查询数据 response = srb.get(); return response; } catch (Exception e) { logger.error("查询轨迹ES异常", e); } return null; } ``` 此方法通过 `scrollId` 持续获取数据,每次查询的返回条数可根据实际情况调整,并且可以通过设置 `scroll` 时间来控制会话的有效期 [^2]。
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

雨会停rain

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值