elasticsearch游标查询所有数据

最新推荐文章于 2025-10-26 13:52:59 发布

原创最新推荐文章于 2025-10-26 13:52:59 发布 · 2.4k 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#大数据 #php #java

elasticsearch 专栏收录该内容

57 篇文章

订阅专栏

本文介绍了一种使用Elasticsearch的scroll方法来实现索引复制的技术方案。通过设置特定参数，如搜索类型和游标持续时间，文章演示了如何逐步获取并处理索引中的所有文档。

在Elasticsearch中找一个复制索引的接口真难。现在官方唯一推荐的方法是使用游标获得被复制索引的所有document，然后使用bulkIndex新建立一个索引。

这个接口也很奇怪，第一次search竟然不返回数据。

import org.elasticsearch.action.search.SearchResponse;
import org.elasticsearch.action.search.SearchType;
import org.elasticsearch.client.Client;
import org.elasticsearch.common.unit.TimeValue;
import org.elasticsearch.search.SearchHit;

import donlian.es.ESUtils;
/** 
 * 使用scroll方法实现复制索引
 * @author donlianli@126.com
 */
public class ScrollTest {
public static void main(String[] args) {
Client esClient = ESUtils.getClient();
SearchResponse searchResponse = esClient.prepareSearch(ESUtils.getIndexName())
//加上这个据说可以提高性能，但第一次却不返回结果
.setSearchType(SearchType.SCAN)
//实际返回的数量为5*index的主分片格式
        .setSize(5)
        //这个游标维持多长时间
        .setScroll(TimeValue.timeValueMinutes(8))
        .execute().actionGet();
//第一次查询，只返回数量和一个scrollId
System.out.println(searchResponse.getHits().getTotalHits());
System.out.println(searchResponse.getHits().hits().length);
//第一次运行没有结果
for (SearchHit hit : searchResponse.getHits()) {
    System.out.println(hit.getSourceAsString());
}
System.out.println("------------------------------");
//使用上次的scrollId继续访问
searchResponse = esClient.prepareSearchScroll(searchResponse.getScrollId())
        .setScroll(TimeValue.timeValueMinutes(8))
        .execute().actionGet();
System.out.println(searchResponse.getHits().getTotalHits());
System.out.println(searchResponse.getHits().hits().length);
for (SearchHit hit : searchResponse.getHits()) {
    System.out.println(hit.getSourceAsString());
}
}

}