Elasticsearch查询报错 Result window is too large

ES实战-result window is too large 在很多业务场景中经常需要查询10000条以后的数据,当遇到不能查询10000条以后的数据的问题之后,网上的很多答案会告诉你可以通过放开这个参数的限制,将其配置为100万,甚至1000万就行。假设我们的ES有三个节点,当分页查询请求过来时,如果落到node1节点,那么node1节点将会向node2和node3发送同样的查询请求,每个节点将topN的文档返回(这里只返回文档的id以及打分排序的字段,减少数据传输),node1会对三个节点的所有文档(3。报错信息的解释为当前查询的结果超过了10000的最大值。 阅读详情
一现象:

        es数据分页查询前端提示系统异常,后端报错日志

二根本原因:

默认情况下,Elasticsearch 限制了 from + size 参数的组合不能超过 10,000 条记录,用于防止查询大数据集时对系统资源的过度消耗

三解决办法:

        方法一:修改索引级别的 index.max_result_window 设置来增加允许返回结果窗口的大小

                        方法二:使用 Scroll API:Scroll API 是 Elasticsearch 提供的一种更高效地请求大数据集的方式。通过 Scroll API,您可以持续获取大量数据而无需一次性返回所有数据 

        方法三:使用search_after API

三种分页优缺点对比

分页方式优点缺点场景
from + size灵活性好,实现简单深度分页问题

数据量比较小,能容忍深度分页问题

scroll解决了深度分页问题无法反应数据的实时性(快照版本)维护成本高,需要维护一个 scroll_id,滚动上下文开销很大海量数据的导出需要查询海量结果集的数据
search_after不存在深度分页问题能够反映数据的实时变更实现复杂,需要有一个全局唯一的字段连续分页的实现会比较复杂,因为每一次查询都需要上次查询的结果海量数据的分页

突破Elasticsearch查询上限:从max_result_window到track_total_hits的实战解析 本文深入解析Elasticsearch查询上限问题,从max_result_window到track_total_hits的实战应用。通过性能测试和实际案例,详细介绍了如何安全突破10000条数据限制,优化查询性能,并提供了索引级设置、分页查询和异步导出等综合解决方案。 阅读详情

相关推荐

别再被ES的10000条查询限制卡脖子了!手把手教你修改max_result_window和track_total_hits

本文详细解析了Elasticsearch的10000条查询限制问题,提供了修改max_result_window和track_total_hits参数的实战指南。通过配置文件修改和动态API调整两种方式,帮助开发者突破查询限制,同时探讨了深度分页的替代方案和性能优化建议,适用于需要处理大规模数据的业务场景。

weixin_42528090的博客 452

Result window is too large, from + size must be less than or equal to: [10000] but was

es分页搜索报错,

loliDapao的博客 4867

Spring-Data-Elasticsearch查询数据量过大报错,Result window is too large,使用Scroll API解决

网上关于Spring-Data-Elasticsearch的Scroll API资料有点少,今天我也遇到了这个困难,现在解决了,本着人人为我,我为人人的想法,整理于此,供遇到同样困难的同学参考 Exception[Result window is too large, from + size must be less than or equal to: [10000] but was [5800...

qq724737991的博客 2285

Elasticsearch报错Result window is too large

具体报错如下 {Type: search_phase_execution_exception Reason: "all shards failed" CausedBy: "Type: illegal_argument_exception Reason: "Result window is too large, from + size must be less than or equal to: [10000] but was [16000]. See the scroll api for a more ef

L.的博客 1448

解锁全志T113-i隐藏技能:用RISC-V核跑实时系统比STM32还稳?

本文深入探讨了全志T113-i SoC的异构架构潜力,重点解析如何利用其内置的玄铁C906 RISC-V核心独立运行实时系统。通过对比传统MCU与Linux方案,文章提供了从RISC-V核心启动、FreeRTOS移植到与Linux主核进行高效异构通信的完整实战指南,为工控等需要兼顾丰富应用与硬实时控制的场景提供了高集成度的单芯片解决方案。

ansible6ops的博客 494

Matlab2021a破解版安装与激活实战教程(含详细步骤截图)

本文详细介绍了MATLAB R2021a的正版安装流程与核心功能优化,包括系统要求、安装步骤、性能调优及深度学习工具箱的应用。通过实战教程和代码示例,帮助用户高效搭建开发环境并掌握关键技术,特别适合工程计算与科学研究的专业人士。

vvv99的博客 461

ES分页查询时报错“Result window is too large ...”

ES分页查询时报错“Result window is too large ...”问题出现缘由报错详情错误译文解决办法 问题出现缘由 ES 中存储了索引数据,使用 ES 可视化工具(elasticsearch-head)想要一次性查出所有数据时,简单查询中选择了最大值25000,查询页面无输出,ES 输出错误信息。 报错详情 Result window is too large, from + size must be less than or equal to: [10000] but was [2500

rao991207823的博客 2241

Cesium实战:从DEM数据到3D地形可视化的全流程解析

本文详细解析了从DEM数据到3D地形可视化的全流程,重点介绍了Cesium和Cesiumlab在数字高程模型(DEM)处理与地形数据转换中的应用。通过实战案例和工具对比,帮助开发者高效实现地形可视化,并分享性能优化与高级功能开发经验。

weixin_29079743的博客 336

mysql查询30w条报错_ElasticSearch查询超过10000条报错Result window is too large

背景后台查询订单列表,将mysql查询改造为es查询.分页展示,每页10条数据,当查询页数超过1000页时,发现后台es报错,报错信息为:(’Result window is too large, from + size must be less than or equal to: [10000] but was [10100].See the scroll api for a more effi...

weixin_42130889的博客 342

AI原生应用在UGC内容审核中的实战经验

AI原生应用(AI-Native Application)——以机器学习模型为核心驱动力,深度整合数据、算法、工程架构的完整系统——为破解这一三角难题提供了全新范式。全链路数据驱动:从数据采集、模型训练到决策优化,形成闭环自治系统,无需人工规则干预多模态深度理解:同时处理文本、图像、音频、视频等多类型内容,理解语义而非简单匹配特征自适应进化能力:通过人机协同反馈持续学习新型违规模式,模型周级迭代成为常态审核效率提升300%:单条视频审核耗时从2.3秒降至0.7秒。

AI算力网络与通信的博客 1149

基于STM32L4XX、HAL库的DP83822 以太网收发器(PHY)驱动程序设计

一、简介:DP83822是德州仪器(TI)推出的一款低功耗、高性能10/100Mbps以太网物理层收发器(PHY)。它具有以下主要特性:支持10BASE-T和100BASE-TX以太网标准低功耗设计,适合嵌入式应用MII/RMII接口,方便与微控制器连接内置自检和诊断功能支持自动协商和手动配置工业级温度范围(-40°C至+85°C)

zhusl6688的博客 528

ElasticSearch查询报错:type=illegal_argument_exception, reason=Result window is too large

Caused by: ElasticsearchException[Elasticsearch exception [type=illegal_argument_exception, reason=Result window is too large, from + size must be less than or equal to: [10000] but was [10155]. See the scroll api for a more efficient way to request larg

*** 棋了个怪_Rachel *** 7343

国家基本比例尺分幅土地利用现状图制作

本次主要解决的问题是如何构建脚本快速生成所涉及区域标准国家基本比例尺分幅,然后制作土地利用现状图模板,套用模板生成标准分幅土地利用现状图。

xyt1172228177的博客 2459

解决es分页查询报错Result window is too large, from + size must be less than or equal to: [10000]

解决es报错Result window is too large, from + size must be less than or equal to: [10000] but was [89120]. See the scroll api for a more efficient way to request large data sets. This limit can be set by changing the [index.max_result_window] index level settin

susu1083018911的博客 809

Yolov8-pose关键点检测:loss优化 | LRM loss困难样本挖掘,提升难样本、遮挡物等检测精度

LRM loss应用到能够大幅提升pose遮挡物性能

①答疑群聊服务;②YOLO大模型知识问答系统;③计算机视觉论文生成智能体; 1716

基于RK3588平台的高分辨率多摄像头系统深度优化:从48M单摄到双摄分时复用的完整解决方案

本文深入解析了RK3588平台的高分辨率摄像头实现方案。重点介绍了:1)RK3588的MIPI PHY硬件架构,包括DCPHY和DPHY的资源配置及工作模式;2)双ISP合成技术,通过并行处理提升48M高分辨率图像的处理能力;3)以OV50C40传感器为例,详细展示了48M单摄系统的硬件连接、I2C设备配置和关键参数设置。文章为开发者提供了从硬件连接到软件配置的完整技术方案,有助于实现高性能嵌入式视觉系统。

FJN110的博客 675

ElasticSearch查询超过10000条(1000页)时出现Result window is too large的问题

问题描述: 我用from&size的方法进行分页查询,每次超过10000条的时候就会报错: (’Result window is too large, from + size must be less than or equal to: [10000] but was [10100]. See the scroll api for a more efficient way to r...

qq_31024823的博客 1933

LinePhone3.2.7(android端最新版本) sip客户端

SIP客户端For android:LinePhone3.2.7(最新版本),官网地址:http://www.linphone.org/

ES报错“Result window is too large”参悟大数据思维

ES在数据搜索上提供了强大支持,但其耗费内存代价也是巨大的。因为第一次使用ElasticSearch,在做分页的时候没有注意,分页插件显示了最后一页,今天做压测,单台es的数据达到2亿数据,每页显示20条的情况下需要500万页。       直接点第500万页的时候出现了“Result window is too large”报错,搜索一下网络,原来ES设置了默认最大窗口数量index.

驰骋翱翔 1218

大中型超市收银系统(可直接运行)

光步前台收银系统系统功能:商品销售、商品退货、挂单、收银员权限、会员销售、单品取消、整单取消、商品查询、脱机销售、脱机数据上传,基本资料下载,开钱箱、小票打印、收款结算,支持多币种付款方式(现金、储值卡、礼券、微信等),支持多种促销。运行环境:.net 4.0登陆信息用户名:1001 密码:123456内置商品信息,商品编码可输入00001000 - 00010000,测试效果相关功能键F5 结算 F9挂单 F11商品查询 F8退货 Insert单品取消 Del整单取消 F12开钱箱F2 会员 Ctrl+Z退出系统 Home 锁屏 相关源码待公开

NTscan扫描工具

ntscan是一个扫描器,可以扫描没有密码和弱密码的共享,先到配置文件中填写猜测的用户名和密码,扫描过程中右侧出现的是扫描日志。

ES报错Result window is too large问题处理

我在使用Elasticsearch进行search查询的过程中,出现了Result window is too large问题。 这里简单做一个报错复现 In [1]: import requests In [2]: requests.get(‘http://127.0.0.1:9200/cmdb-now/_search?page=1&size=10000000’).json() Out[...

qq_17394183的博客 1417

数学建模模型总结

这是本人在两年内准备参加数学建模竞赛搜集到的模型资料,已经经过了本人的筛选和整理,希望能够对准备参加数学建模竞赛的学弟学妹们提供一些帮助!

Elasticsearch使用过程中Result window is too large问题处理

在使用Elasticsearch进行search查询时,出现了Result window is too large的问题。 报错如下: QueryPhaseExecutionException[Result window is too large, from + size must be less than or equal to: [10000] but was [10200]. Se...

格赚 4698

Java代码解决ElasticSearch的Result window is too large问题

第一种解决方法(取固定的数量 不超过1万条): 1.代码如下: // 操作类型 操作时间条件查询 if ( StringUtils.isNotBlank(operationType)&&startTime>0L&&endTime>0L) { searchQuery =...

weixin_39643007的博客 2036

ElasticSearch 使用游标查询。Result window is too large, from + size must be less than or equal to

Result window is too large, from + size must be less than or equal to

伟大是熬出来的 1955

Elasticsearch Result window is too large 问题解决和 JPA 游标分页

问题描述 当使用JPA默认分页查询时, 当每页数据2000条,查询到第5页以内,正常,查询到第6页时,超过了前10000条,系统会报错 Elasticsearch exception [type=illegal_argument_exception, reason=Result window is too large, from + size must be less than or equal to: [10000] but was [12000]. 可是,明明是分页查询,只是查询了第6页而已,就会报错

assember的博客 5085

关于 Elasticsearch 的 “Result window is too large” 问题处理

一、问题描述 在使用 Elasticsearch 进行分页查询的时候,发现超过一定的页数,就会报错,如下: Result window is too large 二、问题原因 查了一些资料,知道了这个问题是由于 “请求要返回的数据超过了结果窗口的最大值而造成的”。也就是说 Elasticsearch 默认情况下只允许查 10000 条数据,此时要是想请求第 10001 条数据,就会报错。例如:查询结果集总共有 10w 条数据,但是通过 Elasticsearch 的 search 最多只能返回 1w 条

cab5的博客 1467

Elasticsearch - 修改最大值限制来解决max_result_window is too large问题

前言 es响应数据量有限制,默认为10000: 如果实际查询到的数据超过这个值,就会报错:max_result_window is too large 修改响应最大值限制 1、在kibana或者eshead 中,进行修改 PUT log-20201010/_settings { "index" : { "max_result_window" : 800000 } } 响应 {"acknowledged":true} 2、或者通过api修改 curl -H "Conten

BigManing的博客 4040
上一篇: 记一次日志被吞,只有异常类型,没有堆栈信息
下一篇: linux排查磁盘空间不足
wit_cx
博客等级 码龄9年 44粉丝 16原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值