ElasticSearch中bulkProcesser使用遇到的问题

最新推荐文章于 2023-09-05 16:22:38 发布

丶雨果丶

最新推荐文章于 2023-09-05 16:22:38 发布

阅读量5.3k

点赞数 1

CC 4.0 BY-SA版权

分类专栏：代码问题 Elasticsearch 文章标签： es java bulkProcesser

本文链接：https://blog.youkuaiyun.com/weixin_43833817/article/details/84882318

Elasticsearch 同时被 2 个专栏收录

5 篇文章

订阅专栏

代码问题

1 篇文章

订阅专栏

本文探讨了Elasticsearch中使用BulkAPI进行批量数据插入的优化策略，详细介绍了如何设置批量提交条件，包括请求数量、数据大小及时间间隔，并分析了实际运行中遇到的批量提交未按预期触发的问题。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

废话不多说，直接上代码


/**
 * Elasticsearch的Bulk API允许批量提交index和delete请求。
 */
public class EsBulkApi {
	
	private ElasticsearchConfig esConfig;
	
	/**es 索引 index*/
	public static final String TEST_SEARCH_INDEX = "test.search";
	/**es 类型 type*/
	public static final String TEST_SEARCH_TYPE = "test_search";
/**
	 * bulkapi
	 * 在例子中，当请求超过1000个（default=1000）或者总大小超过1024MB（default=5MB）或者30s 时，触发批量提交动作。
	 */
	public void bulkApiAction2(){
		EsClientPool pool = EsUtils.esClientPool(esConfig);
		EsClient esClient = pool.getEsClient();
		BulkProcessor bulkProcessor = null;
		SimpleDateFormat sdf = new SimpleDateFormat("yyyy-MM-dd HH:mm:ss");
		try {
			bulkProcessor = BulkProcessor.builder(esClient.getClient(), 
					new BulkProcessor.Listener() {
						/**
						 * beforeBulk会在批量提交之前执行，可以从BulkRequest中获取请求信息request.requests()或者请求数量request.numberOfActions()。 
						 */
						@Override
						public void beforeBulk(long executionId, BulkRequest request) {
							log.info("---尝试插入{}条数据---", request.numberOfActions());
						}
						/**
						 * 会在批量失败后执行。
						 */
						@Override
						public void afterBulk(long executionId, BulkRequest request, Throwable failure) {
							log.error("[es错误]---尝试插入数据失败---", failure);
						}
						/**
						 * 会在批量成功后执行，可以跟beforeBulk配合计算批量所需时间。
						 */
						@Override
						public void afterBulk(long executionId, BulkRequest request, BulkResponse response) {
							boolean hasFailures = response.hasFailures();
							if(hasFailures){
								String buildFailureMessage = response.buildFailureMessage();
								log.info("---尝试插入{}条数据失败---", request.numberOfActions());
								log.info("---失败原因---"+buildFailureMessage);
							} else{
								log.info("---尝试插入{}条数据成功---", request.numberOfActions());
							}
						}
					})
					.setBulkActions(1000)
					.setBulkSize(new ByteSizeValue(1024, ByteSizeUnit.MB))
					.setFlushInterval(TimeValue.timeValueSeconds(30))
					.build();
			for(int i=0; i<180; i++){
				Map<String,Object> searchMap = new HashMap<String,Object>();
				searchMap.put("userId", i);
				searchMap.put("userName", "yuguo"+i);
				searchMap.put("createTime", sdf.format(new Date()));
				bulkProcessor.add(new IndexRequest(TEST_SEARCH_INDEX, TEST_SEARCH_TYPE, i+"").source(searchMap));
			}
		} catch (Exception e) {
			log.error("bulk api action error",e);
		} finally {
			if(bulkProcessor != null) {
				bulkProcessor.close();
			}
			pool.removeEsClient(esClient);
		}
	}
}

在批量插入的时候，我设置当请求数据量超过1000条，或者总大小超过1024MB时，或者当请求数据量和大小都不满足要求时我设置的是每30s执行触发批量提交动作。
但是当我实际运行的时候，180条数据就是瞬间完成的。也就是说我设置的三个条件并没有生效。
按道理说，应该是要到30s后才会触发批量提交。
有没有大佬遇到过这种问题？我代码的问题在哪里？