Spring Batch_异步并发的processor && writer

最新推荐文章于 2025-07-05 16:37:18 发布

weixin_34268610

最新推荐文章于 2025-07-05 16:37:18 发布

阅读量2.2k

点赞数

CC 4.0 BY-SA版权

文章标签： java 数据库 python

原文链接：https://my.oschina.net/xinxingegeya/blog/344078

本文介绍了如何使用Spring Batch优化批处理的效率，通过异步并发处理processor和writer来提高性能。当process过程处理时间较长时，多线程处理能显著提升效率。示例代码包括`spring-batch-async.xml`、`AsyncPeopleAddDescItemProcessor.java`和`AsyncPeopleAddDescItemWriter.java`。实验数据显示，相比无异步并发，处理100条数据的时间从213657ms缩短到108884ms。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

2019独角兽企业重金招聘Python工程师标准>>>

Spring Batch_异步并发的processor && writer

普通的配置一个job，在这个demo中：http://my.oschina.net/xinxingegeya/blog/343190

job的reader是通过游标读取，commit-interval="2"表示每读取两条数据，就要进行process，process完成之后就要进行write，process和write是同步进行的，也就是说

必须process两条之后才能进行write，这两者不能异步进行。无疑，当process过程处理时间过长时，会拖慢整个过程的效率。还有process过程是single thread进行处理的，一个线程中处理两条数据

比用两个线程处理两条数据效率要慢的多（当处理一条数据花费的时间比较多时），这样会拖慢process过程的效率。

那么如何提高整个批处理过程的效率？

对于proceess和write过程异步化

在process过程使用多线程处理数据

主要的代码和配置：

spring-batch-async.xml

<beans xmlns="http://www.springframework.org/schema/beans"
	xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xmlns:batch="http://www.springframework.org/schema/batch"
	xmlns:context="http://www.springframework.org/schema/context"
	xsi:schemaLocation="http://www.springframework.org/schema/beans http://www.springframework.org/schema/beans/spring-beans-4.0.xsd
		http://www.springframework.org/schema/batch http://www.springframework.org/schema/batch/spring-batch.xsd
		http://www.springframework.org/schema/context http://www.springframework.org/schema/context/spring-context.xsd">

	<!-- 包的扫描 -->
	<context:component-scan base-package="com.lyx.batch" />

	<bean id="exceptionHandler" class="com.lyx.batch.ExceptionListener" />

	<batch:step id="abstractStep" abstract="true">
		<batch:listeners>
			<batch:listener ref="exceptionHandler" />
		</batch:listeners>
	</batch:step>
	<bean id="abstractCursorReader" abstract="true"
		class="org.springframework.batch.item.database.JdbcCursorItemReader">
		<property name="dataSource" ref="dataSource" />
	</bean>

	<batch:job id="addPeopleDescJob">
		<batch:step id="addDescStep" parent="abstractStep">
			<batch:tasklet>
				<batch:chunk reader="peopleAddDescReader" processor="asyncProcessor"
					writer="asynWriter" commit-interval="2" />
			</batch:tasklet>
		</batch:step>
	</batch:jo