ElasticSearch scan、scrollid简单使用，超过10000条数量限制

最新推荐文章于 2024-02-21 14:46:08 发布

原创最新推荐文章于 2024-02-21 14:46:08 发布 · 5.5k 阅读

1 ·

CC 4.0 BY-SA版权

Mysql、缓存专栏收录该内容

6 篇文章

订阅专栏

本文介绍了一种使用Spring Data Elasticsearch进行批量查询的方法。通过NativeSearchQueryBuilder构建查询条件，并利用scroll API来滚动查询大量数据，有效提高了数据检索效率。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

版本： spring-data-elasticsearch-2.1.8.RELEASE.jar

public List<Long> searchIds(Param param) {
	
    SearchQuery searchQuery = new NativeSearchQueryBuilder()
    		.withQuery(queryBuilder)
    		.withIndices("index") 
    		.withTypes("type")
            .withPageable(new PageRequest(0, 1000)).build();  
    String scrollId = elasticsearchTemplate.scan(searchQuery, 1000*60, false);  
    
    List<Long> ids = new ArrayList<Long>(12000);  
    boolean hasRecords = true;  
    while (hasRecords) {  
        Page<EsEntity> page = elasticsearchTemplate.scroll(scrollId, 1000*60, EsEntity.class);  
        if (page.hasContent()) {  
        	page.getContent().forEach(item -> ids.add(item.getId()));
        } else {  
            hasRecords = false;  
        }  
    }  
    elasticsearchTemplate.clearScroll(scrollId);  


	return ids;
}