es 游标的两种分页

最新推荐文章于 2025-09-02 09:57:46 发布
原创 最新推荐文章于 2025-09-02 09:57:46 发布 · 1.1k 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#es #java

本文介绍了Elasticsearch的三种分页方法：fromsize、scroll_id和searchAfter。重点讨论了在配置ES时，由于scroll_id分页无法获取更新后的数据，而searchAfter则能提供实时查询的功能。示例代码展示了如何使用searchAfter进行游标分页查询，确保每次查询都能获取最新的数据。

三种分页方法:
1.from size 分页
2.scroll_id游标分页
3.searchAfter分页

配置es时es分页数据业务不能通过scroll_id获取分页数据(因为scroll_id分页拿不到更新后的数据),而searchAfter是查询实时的数据.

先贴代码
lastId代指sort value
if (lastId != null) { Object[] searchAfterArray = new Object[1]; searchAfterArray[0] = lastId; searchSourceBuilder.searchAfter(searchAfterArray); }
这时查询es就会携带分页数据
“search_after”: [172]
完成游标分页查询.

Elasticsearch分页实践&方式汇总
空山新雨后，天气晚来秋
12-01 3901
Elasticsearch大数据量分页最佳实践
Mybatis Plus 大数据游标分页
逸轩
01-27 3488
随着业务的发展，许多应用面临处理大数据量的挑战。传统的分页方式在处理大数据量时可能带来性能问题，而MyBatis Plus提供的游标分页是一种解决方案，可以显著提高性能，更有效地处理大量数据。
游标分页（有意思的分页）
最新发布
weixin_71031526的博客
09-02 2144
高性能 (Stateless & Efficient)：查询条件WHERE子句非常明确，可以高效地利用数据库索引 (created_atid无论你翻到第几页，查询速度都一样快，因为它不需要OFFSET来扫描大量数据。稳定性 (Stable)：分页状态是无状态的，它不依赖于整个数据集的顺序。即使在你加载下一页时有新数据插入或旧数据删除，你的分页锚点（游标）是固定的，所以不会出现数据错乱、重复或遗漏的问题。适用于实时数据流。
基于偏移量、游标分页的详解
qq_51898139的博客
11-08 1520
大量的数据集往往会被分成多个空间去存储。例如一本书就会有几十页几百页，因为把一本书都放在一页去展示不管是对生产者还是消费者都是及其不友好的。又比如在网页中我们常常会看到一页一页的数据，当然我们自己开发的时候也少不了做分页展示的需求。
ES分页查询的最佳实践：三种方案
大数据，大模型，服务器，技术、架构，方案
03-10 3212
Elasticsearch（ES）中进行分页查询时，最佳实践取决于具体的使用场景和需求。 对于网页应用中的普通分页浏览，尤其是前几页，from+size足够。 如果需要处理大数据集且允许一定的延迟，或者一次性获取所有结果，Scroll API 是更好的选择。 对于深度分页且需要实时性较好的场景，应优先考虑search_after。
[SQL]对于分页存储过程，李洪根说...（收藏）
weixin_30546189的博客
08-20 170
1。我个人认为最好的分页方法是: Selecttop10*fromtablewhereid>200 写成存储过程,上面的语句要拼一下sql语句,要获得最后大于的哪一个ID号2。那个用游标的方式,只适合于小数据量的表,如果表在一万行以上,就差劲了你的存储过程还比不上NOT IN分页,示例: SELECTTop10*FROMCustomersWHEREC...
mysql迭代查询并分页_基于游标的分页接口实现
weixin_39636857的博客
02-08 623
分页接口的实现，在偏业务的服务端开发中应该很常见，PC时代的各种表格，移动时代的各种feed流、timeline。出于对流量的控制，或者用户的体验，大批量的数据都不会直接返回给客户端，而是通过分页接口，多次请求返回数据。而最常用的分页接口定义大概是这样的：router.get('/list', async ctx => {const { page, size } = this.query//...
ElasticSearch三种分页方式以及各优缺点
欢迎来到 程序猿 的博客
05-10 4834
1、关于 Elasticsearch 分页查询，这几个问题经常被问到 问题1：想请问下，一次性获取索引上的某个字段的所有值（100 万左右），除了把 max_result_window 调大 ，还有没有啥方法？ 问题2：关于 es 的分页，每次拿 20 条展示在前台，然后点击下一页，在查询后面的20条数据，应该要怎么写？ 问题3：From+size、Scroll、search_after 的本质区别和应用场景分别是什么？ 2、 Elasticsearch 支持的三种分页查询方式
Elasticsearch中的三种分页策略深度解析：原理、使用及对比
2401_89308368的博客
12-20 855
from + size（浅分页）原理：通过指定from（起始偏移量）和size（每页大小）来分页。默认from为0，size为10。优点：简单直观，易于理解。缺点：当from值很大时，性能会显著下降，因为Elasticsearch需要从每个分片中获取指定数量的文档，然后在协调节点进行全局排序以获取最终的结果。这会导致大量的网络传输和CPU/内存消耗。不适合处理大量数据或深度分页的情况。适用场景：适用于数据量较小或不需要深度分页的场景。scroll。
ElasticSearch深度分页原理及解决方案
qq_42077317的博客
04-27 2614
简单来说，就是搜索的特别深，比如总共有100000条数据，四个primary shard,每个shard上分了25000条数据，每页是10条数据，这个时候，你要搜索到第1000页，实际上要拿到的是10001~10010，为了获取这些深层次页面的数据，系统通常需要先查询并处理前面所有页面的数据，以确保能够正确地显示用户所请求的页面，这个过程可能导致查询范围非常广泛，从而显著降低查询效率，增加服务器负担。3.数据不稳定性：在深度分页过程中，如果有新的文档被索引或删除，可能会导致结果的不稳定性。
京东面试详解：如何有效避免ElasticSearch深度分页？
wdj_yyds的博客
05-04 761
前言 Elasticsearch 是一个实时的分布式搜索与分析引擎，在使用过程中，有一些典型的使用场景，比如分页、遍历等。 在使用关系型数据库中，我们被告知要注意甚至被明确禁止使用深度分页，同理，在 Elasticsearch 中，也应该尽量避免使用深度分页。 这篇文章主要介绍 Elasticsearch 中分页相关内容！ From/Size参数 在ES中，分页查询默认返回最顶端的10条匹配hits。 如果需要分页，需要使用from和size参数。 from参数定义了需要跳过的hits数，默.
游标分页
weixin_30920513的博客
08-27 419
CREATE PROC sp_PageView @sql ntext, --要执行的sql语句@PageCurrent int=1, --要显示的页码@PageSize int=10, --每页的大小@PageCount int OUTPUT --总页数ASSET NOCOUNT ONDECLARE @p1 int--初始化分页游标EXEC sp_c...
分页优化之——游标分页
PhilipJ0303的博客
03-18 2146
游标分页 是一种高效且稳定的分页方式，特别适合大数据集和无限滚动场景
基于游标分页数据_使用基于游标的分页对实时数据进行分页
culi4814的博客
08-19 2696
基于游标分页数据Pagination is a technique for breaking large record sets into smaller portions called pages. As a developer, you should be familiar with implementing pagination, but implementing pagination fo...
es中的分页
辛星，前进的路上.
06-03 3081
Elasticsearch接受from和size参数来分页： size: 结果条数，默认10 from: 跳过开始的结果数，默认0 请求范例: GET /_search?size=5&from=10 应该当心分页太深或者一次请求太多的结果。结果在返回前会被排序。 一个搜索请求常常涉及多个分片。 每个分片生成自己排好序的结果，它们接着需要集中起来排序以确保整体排序正
通过游标实现分页查询
雪辉博客
10-10 1833
该方法不适用MySQL，因为MySQL无法在存储过程外使用游标 – 开启一个事务 BEGIN; – 定义游标 DECLARE t1_cur CURSOR FOR SELECT * FROM t1; – 获取1000条记录 FETCH 1000 FROM t1_cur ; – … – 继续获取1000条记录 FETCH 1000 FROM t1_cur ; –最后结束事务 COMMIT; ...
ElasticSearch - 解决ES的深分页问题 (游标 scroll)
m0_67393593的博客
08-16 1115
request body和一般搜索一样，因此可以说在初始化的过程中，除了加上scroll设置游标开启时间之外，其他的都跟一般的搜寻没有两样 (要设置查询条件，也会回传前size笔的数据)游标可以增加性能的原因，是因为如果做深分页，每次搜索都必须重新排序，非常浪费，使用scroll就是一次把要用的数据都排完了，分批取出，因此比使用from+size还好。所以，当索引非常非常大(千万或亿)，是无法使用from + size 做深分页的，分页越深则越容易OOM，即便不OOM，也很消耗CPU和内存资源。...
游标分页实现
weixin_43076660的博客
03-21 694
游标分页实现
elasticsearch分页条件查询慢怎么优化
07-05
结合 Java 接口设计，可以封装一个通用的分页查询工具类，支持 `from/size` 和 `search_after` 两种方式： ```java public interface ElasticSearchActuator { <T> SearchResult<T> ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值