对于Spring-batch中的Reader-processor-writer模式,例如
<batch:step id="test-01">
<batch:tasklet>
<batch:chunk reader="testR" processor="testP" commit-interval="1">
<batch:writer>
<bean class="com.test.TestW">
<batch:writer>
<batch:chunk>
<batch:tasklet>
<batch:step>
如果reader读取为两条数据,第二条数据异常断批,由于commint-interval为1,第一条会执行processor和writer,且成功commit,第二条Processor会回滚,writer不会执行。当restart时,会从第二条数据重新处理,第一条已处理不会再重复处理。
如果此时将
<batch:chunk reader="testR" processor="testP" commit-interval="1">
改为
<batch:chunk reader="testR" processor="testP" commit-interval="2">
这时,reader读取两条数据,第二条数据异常断批,则两条数据都会回滚掉,restart时会重新执行。
以上,目前已验证Reader-processor-writer模式重拉不会导致数据重复处理。
本文探讨了Spring Batch中Reader-Processor-Writer模式下不同commit-interval设置对数据处理的影响,尤其是在遇到异常重启时的数据一致性问题。通过实例分析,解释了如何避免数据重复处理,确保批处理任务的正确性和效率。
1868

被折叠的 条评论
为什么被折叠?



