Elasticsearch“滚动查询“（Scrolling）的机制的与Java使用ES Client 调用滚动查询

最新推荐文章于 2025-08-24 16:10:06 发布

原创

最新推荐文章于 2025-08-24 16:10:06 发布 · 5.6k 阅读

9 ·

CC 4.0 BY-SA版权

文章标签：

#elasticsearch #java #大数据 #滚动查询 #spring

文章介绍了Elasticsearch的滚动查询机制，用于处理大量数据的分页。滚动查询通过初始搜索请求获取滚动ID，然后反复使用该ID检索下一页结果，直到无更多结果。Java中使用RestHighLevelClient进行滚动查询，SpringDataElasticsearch也有相应的支持。查询结束后需清除滚动上下文以释放资源。

Elasticsearch"滚动查询"（Scrolling）的机制的与Java使用ES Client 调用滚动查询

前言
1. 滚动查询的一般步骤
2.Java Elasticsearch客户端执行滚动查询
3. SpringDataElasticsearch滚动查询

前言

ES在进行普通的查询时，默认只会查询出来10条数据。我们通过设置es中的size可以将最终的查询结果从10增加到10000。如果需要查询数据量大于es的翻页限制或者需要将es的数据进行导出又当如何？
Elasticsearch提供了一种称为"滚动查询"（Scrolling）的机制，用于处理大型数据集的分页查询。滚动查询允许在持续的时间段内保持一个活动的搜索上下文，然后使用滚动ID进行迭代检索结果。滚动查询和关系型数据库中的游标有点类似，因此也叫游标查询

1. 滚动查询的一般步骤

1.1 发起初始搜索请求,返回命中结果和滚动ID

scroll=5m表示每个滚动查询的有效时间为5分钟

POST /your_index/_search?scroll=5m
{
   
   
  "size": 100,       // 每次返回的结果数量
  "query": {
   
    ... }   // 查询条件
}

命中结果：

{
   
   
  "_scroll_id": "DXF1ZXJ5QW5kRmV0Y2gBAAAAAAAAAD4WYm9laVYtZndUQlNsdDcwakFMNjU1QQ==",
  "hits": {
   
   
    "total": {
   
   
      "value": 10000,
      "relation": "eq"
    },
    "hits": [ ... ]  // 检索到的文档
  }
}

示例：
在这里插入图片描述

1.2 使用滚动ID检索下一页结果

POST /_search/scroll
{
   
   
  "scroll": "5m",
  "scroll_id": "DXF1ZXJ5QW5kRmV0Y2gBAAAAAAAAAD4WYm9laVYtZndUQlNsdDcwakFMNjU1QQ=="
}

示例：

POST /_search/scroll
 {
   
   
   "scroll": "5m",
   "scroll_id": "FGluY2x1ZGVfY29udGV4dF91dWlkDXF1ZXJ5QW5kRmV0Y2gBFDJPRXc0WWdCY1BLWlo1MTk4MmR3AAAAAAAAAXYWcWgwSW5CQUtScEd2T2QtRGtYaWliQQ=="
 }

在这里插入图片描述

1.4 重复执行直到没有检索结果返回

Elasticsearch将返回下一页结果和一个新的滚动ID。可以根据需要重复这个步骤，直到没有更多结果为止

1.5 清除滚动上下文释放资源

滚动查询结束后，您可以通过发送一个清除滚动上下文的请求来释放资源：

DELETE /_search/scroll
{
   
   
  "scroll_id": [
    "DXF1ZXJ5QW5kRmV0Y2gBAAAAAAAAAD4WYm9laVYtZndUQlNsdDcwakFMNjU1QQ=="
  ]
}

以上为滚动查询进行分页检索的基本过程。在每个滚动请求中，都需要提供先前滚动请求返回的滚动ID。这样Elasticsearch才能够维护搜索上下文并返回正确的结果

2.Java Elasticsearch客户端执行滚动查询

public static void main(String[] args) {
   
   

    long start = System.currentTimeMillis();

    //构建es HttpHost对象
    HttpHost httpHost1 = new HttpHost("192.168.1.1", 9200, "http");

    // 滚动时间窗口
    long scrollTime = 1L;
    // 每次返回的文档数量
    int batchSize = 20000;