Spring batch教程 之 扩展与并行处理

Spring Batch 专题系列(六):并行处理与性能优化 在上一篇文章中,我们学习了 Spring Batch 的错误处理机制(Skip、Retry、Restart 和 Listener),掌握了如何提升作业的健壮性。随着数据量的增加,批处理任务的性能成为关键挑战。Spring Batch 提供了强大的并行处理功能,包括多线程 Step、分区(Partitioning)和并行 Job,能够显著缩短运行时间。此外,性能优化还涉及 Chunk 大小、缓冲区配置等细节。本文将聚焦以下内容:通过本文,你将学会如何利用 Spring Batch 的并行机制处理海量数据,并优 阅读详情

很多批处理问题都可以通过单进程、单线程的工作模式来完成, 所以在想要做一个复杂设计和实现之前,请审查你是否真的需要那些超级复杂的实现。 衡量实际作业(job)的性能,看看最简单的实现是否能满足需求: 即便是最普通的硬件,也可以在一分钟内读写上百MB数据文件。


当你准备使用并行处理技术来实现批处理作业时,Spring Batch提供一系列选择,本章将对他们进行讲述,虽然某些功能不在本章中涵盖。从高层次的抽象角度看,并行处理有两种模式: 单进程,多线程模式; 或者多进程模式。还可以将他分成下面这些种类:


  • 多线程Step(单个进程)
  • 并行Steps(单个进程)
  • 远程分块Step(多个进程)
  • 对Step分区 (单/多个进程)

下面我们先回顾一下单进程方式,然后再看多进程方式.

1.1 多线程 Step


启动并行处理最简单的方式就是在 Step 配置中加上一个TaskExecutor , 比如,作为 tasklet 的一个属性:

<step id="loading">
    <tasklet task-executor="taskExecutor">...</tasklet>
</step>

上面的示例中, taskExecutor指向了另一个实现 TaskExecutor 接口的Bean. TaskExecutor 是一个标准的Spring接口,具体有哪些可用的实现类,请参考 Spring用户指南. 最简单的多线程 TaskExecutor 实现是 SimpleAsyncTaskExecutor.

以上配置的结果就是在 Step 在(每次提交的块)记录的读取,处理,写入时都会在单独的线程中执行。请注意,这段话的意思就是在要处理的数据项之间没有了固定的顺序, 并且一个非连续块可能包含项目相比,单线程的例子。此外executor还有一些限制(例如,如果它是由一个线程池在后台执行的),有一个tasklet的配置项可以调整,throttle-limit默认为4。你可能根据需要增加这个值以确保线程池被充分利用,如:

<step id="loading"> 
<tasklet task-executor="taskExecutor"
    throttle-limit="20">...</tasklet>
</step>


还需要注意在step中并发使用连接池资源时可能会有一些限制,例如数据库连接池 DataSource. 请确保连接池中的资源数量大于或等于并发线程的数量.

在一些常见的批处理情景中,对使用多线程Step有一些实际的限制。Step中的许多部分(如readers 和 writers)是有状态的,如果某些状态没有进行线程隔离,那么这些组件在多线程Step中就是不可用的。特别是大多数Spring Batch提供的readers 和writers不是为多线程而设计的。但是,我们也可以使用无状态或线程安全的readers 和 writers,可以参考Spring Batch Samples中(parallelJob)的这个示例(点击进入Section 6.12, “Preventing State Persistence”),示例中展示了通过指示器来跟踪数据库input表中的哪些项目已经被处理过,而哪些还没有被处理。

Spring Batch 提供了ItemWriter 和 ItemReader 的一些实现. 通常在javadoc中会指明是否是线程安全的,或者指出在并发环境中需要注意哪些问题. 假若文档中没有明确说明,你只能通过查看源代码来看看是否有什么线程不安全的共享状态. 一个并非线程安全的 reader , 也可以在你自己处理了同步的代理对象中高效地使用.

如果你的step中写操作和处理操作所消耗的时间更多,那么即使你对read()操作加锁进行同步,也会比你在单线程环境中执行要快很多.

1.2 并行 Steps


只要需要并行的程序逻辑可以划分为不同的职责,并分配给各个独立的step,那么就可以在单个进程中并行执行。并行Step执行很容易配置和使用,例如,将执行步骤(step1,step2)和步骤3step3并行执行,则可以向下面这样配置一个流程:

<job id="job1">
     <split id="split1" task-executor="taskExecutor" next="step4">
      <flow>
        <step id="step1" parent="s1" next="step2"/>
        <step id="step2" parent="s2"/>
      </flow>
      <flow>
        <step id="step3" parent="s3"/>
      </flow>
     </split>
     <step id="step4" parent="s4"/>
</job>
<beans:bean id="taskExecutor" class="org.spr...SimpleAsyncTaskExecutor"/>

可配置的 "task-executor" 属性是用来指明应该用哪个TaskExecutor实现来执行独立的流程。默认是SyncTaskExecutor,但有时需要使用异步的TaskExecutor来并行运行某些步骤。请注意,这项工作将确保每一个流程在聚合之前完成.并进行过渡。


1.3 远程分块(Remote Chunking)


使用远程分块的Step被拆分成多个进程进行处理,多个进程间通过中间件实现通信. 下面是一幅模型示意图:



Master组件是单个进程,从属组件(Slaves)一般是多个远程进程。如果Master进程不是瓶颈的话,那么这种模式的效果几乎是最好的,因此应该在处理数据比读取数据消耗更多时间的情况下使用(实际应用中常常是这种情形)。

Master组件只是Spring Batch Step 的一个实现, 只是将ItemWriter替换为一个通用的版本,这个通用版本 "知道" 如何将数据项的分块作为消息(messages)发送给中间件。 从属组件(Slaves)是标准的监听器(listeners),不论使用哪种中间件(如使用JMS时就是 MesssageListeners ), Slaves的作用都是处理数据项的分块(chunks), 可以使用标准的 ItemWriter 或者是ItemProcessor加上一个 ItemWriter, 使用的接口是 ChunkProcessor interface。使用此模式的一个优点是: reader,processor和 writer 组件都是现成的(就和在本机执行的step一样)。数据项被动态地划分,工作是通过中间件共享的,因此,如果监听器都是饥饿模式的消费者,那么就自动实现了负载平衡。

中间件必须持久可靠,能保证每个消息都会被分发,且只分发给单个消费者。JMS是很受欢迎的解决方案,但在网格计算和共享内存产品空间里还有其他可选的方式(如 Java Spaces服务; 为Java对象提供分布式的共享存储器)。

1.4 分区


Spring Batch也为Step的分区执行和远程执行提供了一个SPI(服务提供者接口)。在这种情况下,远端的执行程序只是一些简单的Step实例,配置和使用方式都和本机处理一样容易。下面是一幅实际的模型示意图:



在左侧执行的作业(Job)是串行的Steps,而中间的那一个Step被标记为 Master。图中的 Slave 都是一个Step的相同实例,对于作业来说,这些Slave的执行结果实际上等价于就是Master的结果。Slaves通常是远程服务,但也有可能是本地执行的其他线程。在此模式中,Master发送给Slave的消息不需要持久化(durable) ,也不要求保证交付: 对每个作业执行步骤来说,保存在JobRepository 中的Spring Batch元信息将确保每个Slave都会且仅会被执行一次。

Spring Batch的SPI由Step的一个专门的实现( PartitionStep),以及需要由特定环境实现的两个策略接口组成。这两个策略接口分别是 PartitionHandler 和 StepExecutionSplitter,他们的角色如下面的序列图所示:



此时在右边的Step就是“远程”Slave,所以可能会有多个对象 和/或 进程在扮演这一角色,而图中的 PartitionStep 在驱动(/控制)整个执行过程。PartitionStep的配置如下所示:

<step id="step1.master">
   <partition step="step1" partitioner="partitioner">
        <handler grid-size="10" task-executor="taskExecutor"/>
   </partition>
</step>

类似于多线程step的 throttle-limit 属性, grid-size属性防止单个Step的任务执行器过载。

在Spring Batch Samples示例程序中有一个简单的例子在单元测试中可以拷贝/扩展(详情请参考 *PartitionJob.xml 配置文件)。

Spring Batch 为分区创建执行步骤,名如“step1:partition0”,等等,所以我们经常把Master step叫做“step1:master”。在Spring 3.0中也可以为Step指定别名(通过指定 name 属性,而不是 id 属性)。

1.4.1 分区处理器(PartitionHandler)


PartitionHandler组件知道远程网格环境的组织结构。 它可以发送StepExecution请求给远端Steps,采用某种具体的数据格式,例如DTO.它不需要知道如何分割输入数据,或者如何聚合多个步骤执行的结果。一般来说它可能也不需要了解弹性或故障转移,因为在许多情况下这些都是结构的特性,无论如何Spring Batch总是提供了独立于结构的可重启能力: 一个失败的作业总是会被重新启动,并且只会重新执行失败的步骤。

PartitionHandler接口可以有各种结构的实现类: 如简单RMI远程方法调用,EJB远程调用,自定义web服务、JMS、Java
Spaces, 共享内存网格(如Terracotta或Coherence)、网格执行结构(如GridGain)。Spring Batch自身不包含任何专有网格或远程结构的实现。


但是 Spring Batch也提供了一个有用的PartitionHandler实现,在本地分开的线程中执行Steps,该实现类名为
TaskExecutorPartitionHandler,并且他是上面的XML配置中的默认处理器。还可以像下面这样明确地指定:

<step id="step1.master">
    <partition step="step1" handler="handler"/>
</step>

<bean class="org.spr...TaskExecutorPartitionHandler">
    <property name="taskExecutor" ref="taskExecutor"/>
    <property name="step" ref="step1" />
    <property name="gridSize" value="10" />
</bean>

gridSize决定要创建的独立的step执行的数量,所以它可以配置为TaskExecutor中线程池的大小,或者也可以设置得比可用的线程数稍大一点,在这种情况下,执行块变得更小一些。

TaskExecutorPartitionHandler 对于IO密集型步骤非常给力,比如要拷贝大量的文件,或复制文件系统到内容管理系统时。它还可用于远程执行的实现,通过为远程调用提供一个代理的步骤实现(例如使用Spring Remoting)。

1.4.2 分割器(Partitioner)


分割器有一个简单的职责: 仅为新的step实例生成执行环境(contexts),作为输入参数(这样重启时就不需要考虑)。 该接口只有一个方法:

 public interface Partitioner {
    Map<String, ExecutionContext> partition(int gridSize);
}

这个方法的返回值是一个Map对象,将每个Step执行分配的唯一名称(Map泛型中的 String),和与其相关的输入参数以
ExecutionContext 的形式做一个映射。 这个名称随后在批处理 meta data 中作为分区 StepExecutions 的Step名字显示。ExecutionContext仅仅只是一些 名-值对的集合,所以它可以包含一系列的主键,或行号,或者是输入文件的位置。 然后远程Step 通常使用 #{...}占位符来绑定到上下文输入(在 step作用域内的后期绑定),详情请参见下一节。

step执行的名称( Partitioner接口返回的 Map 中的 key)在整个作业的执行过程中需要保持唯一,除此之外没有其他具体要求。要做到这一点,并且需要一个对用户有意义的名称,最简单的方法是使用 前缀+后缀 的命名约定,前缀可以是被执行的Step的名称(这本身在作业Job中就是唯一的),后缀可以是一个计数器。在框架中有一个使用此约定的 SimplePartitioner。

有一个可选接口 PartitioneNameProvider 可用于和分区本身独立的提供分区名称。 如果一个 Partitioner 实现了这个接口,那么重启时只有names会被查询。 如果分区是重量级的,那么这可能是一个很有用的优化。 很显
然,PartitioneNameProvider提供的名称必须和Partitioner提供的名称一致。


1.4.3 将输入数据绑定到 Steps


因为step的输入参数在运行时绑定到ExecutionContext中,所以由相同配置的PartitionHandler执行的steps是非常高效的。 通过 Spring Batch的StepScope特性这很容易实现(详情请参考 后期绑定)。 例如,如果 Partitioner 创建 ExecutionContext 实例, 每个step执行都以fileName为key 指向另一个不同的文件(或目录),则 Partitioner 的输出看起来可能像下面这样:

表 1.1. 由执行目的目录处理Partitioner提供的的step执行上下文名称示例

| Step Execution Name (key) | ExecutionContext (value) |
| filecopy:partition0 | fileName=/home/data/one |
| filecopy:partition1 | fileName=/home/data/two |
| filecopy:partition2 | fileName=/home/data/three |

然后就可以将文件名绑定到 step 中, step使用了执行上下文的后期绑定:

<bean id="itemReader" scope="step" class="org.spr...MultiResourceItemReader">
    <property name="resource" value="#{stepExecutionContext[fileName]}/*"/>
</bean>


Spring Batch 并行执行 之 PartitionStep 文章目录分区原理分区Step源码解析1. PartitionStep 的 execute 入口2. 第(1)步骤中的`PartitionHandler`处理逻辑扩展示例(待续)kafkarpc参考资料相关代码 分区原理 Spring Batch提供了一个SPI,用于对Step进行分区和远程执行。 在这种情况下,远程参与者只是Step实例,可以很容易地配置。 一个Step在左侧作为一系列子Step... 阅读详情

相关推荐

Spring Batch批处理操作与实践

批处理是指在后台运行的一系列操作,通常用于处理大量数据或执行长时间运行的任务。这些任务往往不需要用户交互,可以在非高峰时段运行,以减少对系统资源的影响。常见的批处理任务包括数据导入导出、报表生成、数据清洗、定时任务等。综上所述,Spring Batch在现代软件开发中扮演着重要的角色。它不仅提供了一整套完善的批处理解决方案,还极大地推动了批处理技术的发展和普及。对于企业和开发者来说,掌握Spring Batch的相关技术和最佳实践,不仅可以提升自身的竞争力,还可以为企业带来更大的价值和效益。

静水深流 1301

SpringBatch从入门到精通-3-并行处理

1.背景 许多批处理问题都可以通过单线程、单进程作业来解决,因此在考虑更复杂的实现之前,最好先检查这些作业是否满足您的需要。衡量一份现实工作的表现,首先看看最简单的实现是否满足您的需求。即使使用标准硬件,您也可以在一分钟内读写数百MB的文件。 2.并行处理 Spring Batch提供了一系列选项,本章对此进行了描述,尽管其他地方介绍了一些功能。在较高级别上,有两种并行处理模式: 单进程、多线程 多进程 这些也可分为以下几类: 多线程步骤(单进程) 并行步骤(单进程

jackssybin的专栏 2285

Spring Batch 批处理(1) - 简介及使用场景

什么是 Spring Batch 介绍 Spring Batch 作为 Spring 的子项目,是一款基于 Spring 的企业批处理框架。通过它可以构建出健壮的企业批处理应用。Spring Batch 不仅提供了统一的读写接口、丰富的任务处理方式、灵活的事务管理及并发处理,同时还支持日志、监控、任务重启与跳过等特性,大大简化了批处理应用开发,将开发人员从复杂的任务配置管理过程中解放出来,使他们...

Hello World 2957

springbatch设置throttle-limit参数不生效

调整throttle-limit为10时,处理线程只有8,再次增大throttle-limit值为20,处理线程依旧为8,并未生效。即没有对线程池进行配置的情况下,一个任务到顶,撑死只能拿到8个线程。控制的是单个任务能够从线程池中获取的线程数的最大值,从这个值的注释说明可以看到,实际任务能够拿到的线程数量,不仅受。中配置可以看到,任务处理的线程池通过properties配置实体进行线程数设置。值为20,启动任务,可以看到并行处理的线程数达到了20个。的值的时候,就必须先把线程池的线程数配置调大。

猫舍 1931

Spring Boot 集成 批处理框架Spring batch

Spring Boot 集成 批处理框架Spring batch

hfuuhgcc的博客 2419

全面解析大数据批处理框架Spring Batch,所谓完美解析方案是什么

但批处理领域的框架确凤毛麟角。Spring Batch框架提供了对文件分区的支持,实现类org.springframework.batch.core.partition.support.MultiResourcePartitioner提供了对文件分区的默认支持,根据文件名将不同的文件处理进行分区,提升处理的速度和效率,适合有大量小文件需要处理的场景。Step包含了一个实际运行的批处理任务中的所有必需的信息,其实现可以是非常简单的业务实现,也可以是非常复杂的业务处理,Step的复杂程度通常是业务决定的。

m0_73603837的博客 1482

初识Spring Batch:开启批处理的高效之旅

在数字化浪潮席卷全球的当下,企业的信息系统每日每夜都在处理着海量的数据。批处理任务,这一在幕后默默耕耘的英雄,承担着对大量数据进行集中、高效处理的重任。它就像是数据世界里的超级工匠,将杂乱无章的原始数据,经过一系列精密而有序的操作,打造成对企业决策、业务运营有着关键价值的信息瑰宝。从定义上来说,批处理任务是对一系列预先定义好的操作进行批量执行的过程。这些操作通常具有相同或相似的目标,比如对数据库中数万条记录进行更新、从多个外部系统汇总数据生成报表,亦或是对海量的文件记录进行格式转换等。

Jeremy程序员 2212

搭建批处理框架问题总结Spring Batch + Spring Batch Admin + Quartz

Transaction Manager 事务管理器问题: 问题现象:在Tasklet中调用Dao  update更新数据,发现数据库没有变。 问题分析:猜测是没有commit 原来,我用了spring batch admin作为批处理界面管理, 但是spring-batch-admin-manager*.jar内部data-source-context.xml定义了数据源和事务管理器 与

qq_15955643的专栏 4713

Spring Batch教程–最终指南

这是Spring批处理教程,它是Spring框架的一部分。 Spring Batch提供了可重用的功能,这些功能对于处理大量记录至关重要,包括日志记录/跟踪,事务管理,作业处理统计信息,作业重新启动,跳过和资源管理。 它还提供了更高级的技术服务和功能,这些功能和功能将通过优化和分区技术来实现极高容量和高性能的批处理作业。 在这里,您可以找到有关其主要组成部分和概念的清晰说明,以及几个工作...

最佳 Java 编程 4293

全面解析大数据批处理框架Spring Batch,所谓完美解析方案是什么?

如今微服务架构讨论的如火如荼。但在企业架构里除了大量的OLTP交易外,还存在海量的批处理交易。在诸如银行的金融机构中,每天有3-4万笔的批处理作业需要处理。针对OLTP,业界有大量的开源框架、优秀的架构设计给予支撑;但批处理领域的框架确凤毛麟角。是时候和我们一起来了解下批处理的世界哪些优秀的框架和设计了,今天我将以Spring Batch为例,和大家一起探秘批处理的世界。 初识批处理典型场景 ...

Java__xiaoze的博客 1165

SpringBatch 多线程(TaskExecutor)启动Job详解 (七)

文章目录一、SpringBatch配置多线程二、SpringBatch多线程的tasklet配置 前言:使用单线程,单个进程作业可以解决许多批处理问题,如果我们想要job执行的速度更快,SpringBatch提供了对多线程的支持。只需要简单的配置,我们的job就可以使用多线程运行。 SpringBatch其它文章直通车: SpringBatch读单个文件(FlatFileItemReader)和...

境里婆娑 7724

Spring batch批处理框架

spring batch框架的简介批处理任务是大多数IT项目的一个重要组成部分,批处理在业务系统中负责处理海量的数据,无须人工干预就能够自动高效的进行复杂的数据分析和处理。批处理会定期读入批量数据,经过相应的业务处理进行归档的业务操作,批处理的特征是自动执行,处理的数据量大,定时执行。将整个批处理的流程按逻辑划分可以分为读数据,处理数据和写数据。spring batch对批处理本身的特性进行了抽象,

weiker12的专栏 9047

38、Spring Batch 批处理的扩展与并行处理技术

本文详细介绍了 Spring Batch 在批处理任务中的扩展与并行处理技术,包括单机并行、远程分块和分区处理。通过配置并行步骤、使用 Spring Integration 实现远程分块以及利用分区处理实现更细粒度的扩展,可以有效提升批处理作业的性能和可扩展性。适用于不同场景的技术方案也进行了对比分析,帮助开发者根据实际需求选择合适的方法。

efc12345678的博客 68

spring batch批处理框架使用

使用场景 一个典型的批处理程序通常: 从数据库、文件或队列中读取大量记录。 以某种方式处理数据。 以修改后的形式写回数据。 Spring Batch 自动化了这个基本的批处理迭代,提供了将类似事务作为一组处理的能力,通常是在离线环境中,无需任何用户交互。批处理作业是大多数 IT 项目的一部分,Spring Batch 是唯一提供强大的企业级解决方案的开源框架。 业务场景 定期提交批处理 并发批处理:一个作业的并行处理 分阶段的企业消息驱动处理 大规模并行批处理 失败后手动或计划重启 相关步骤的顺序处理(扩展

weixin_43081541的博客 2154

Spring Batch批处理框架实战教程

有了 Spring Boot 的加持,你现在可以完全用 Java 配置的方式来定义 Job,告别 XML 配置文件的时代啦!@Bean🎉");}).build();就这么几行代码,你就拥有了一个完整的批处理任务。这里的是最轻量级的 Step 实现方式,适合做一些一次性操作,比如清理缓存、发送通知等。✅ 提示:和是线程安全的单例对象,可以在多个配置类中共享使用。模式适用场景优点缺点启动即运行每日凌晨清算。

weixin_34162851的博客 768

zynq 7010/020 AMP双核通信-Vitis2023/2024

在platform cpu1设置中添加;注意value中使用空格分开程序思路:比较简单。

weixin_43310175的博客 919

Spring Batch 项目教程

Spring Batch 项目教程 1. 项目介绍 Spring Batch 是一个轻量级的、全面的批处理框架,旨在支持开发对企业系统日常运营至关重要的批处理应用程序。Spring Batch 构建在人们所熟知的 Spring 编程模型之上,提供了处理大量记录所需的可重用功能,包括日志记录/跟踪、事务管理、作业处理统计、作业重启、跳过和资源管理。 该项目由 Michael Minella 编写的《...

gitblog_00891的博客 1060

在 PyCharm 中使用 Copilot

此外,要在 PyCharm 中使用 GitHub Copilot,您必须有效订阅 Copilot。在 PyCharm 中安装 GitHub Copilot 后,您现在可以将其用作项目的扩展。此外,它很容易安装在不同的 IDE 平台上,您还可以为特定编程语言启用 GitHub 插件。此外,按照以下步骤,您可以轻松地在 PyCharm 中安装 GitHub Copilot。此外,在 IDE 上使用 GitHub Copilot 时,您可以使用一些快捷方式。

一览无遗 1万+

《Spring batch》实战之实现数据批处理

🍎 微服务系列推荐spring cloud Alibaba实战 🍎 消息中间件系列推荐Apache Pulsar云原生消息中间件 📅 最近更新 :2022年4月13日 🍎 点赞👍 收藏收藏✨留言📑 都是我最大的动力!! spring batch简介 spring batch是spring提供的一个数据处理框架。企业域中的许多应用程序需要批量处理才能在关键任务环境中执行业务操作。 这些业务运营包括: 无需用户交互即可最有效地处理大量信息的自动化,复杂处理。 这些操作通常包括基于...

小米吃辣椒的博客 3918

eda、gnm、anm究竟是个啥?

eda:主成分分析 gnm:高斯网络模型 anm:各向异性网络模型

药研猿的博客 1244

SQL Server 内存占用高分析及解决办法(超详细)

如果想让 Sql Server 主动释放 占用并空闲的内存空间,可以设置Sql Server占用内存的上限,就会让Sql server在。如执行存储过程,自定函数时,SQL Server 需要先二进制编译再运行,编译后的结果也会缓存起来,再次调用时就无需再次编译。才会释放一点占用的内存,所以很多时候,我们会发现运行SQL Server的系统内存往往居高不下这些内存一般都。缓存,以便于再次请求此页的数据的时候,直接从内存返回,就无需读取磁盘了,大大提高了速度。最后文章有啥不对,欢迎大佬在评论区指点!

2301_79080944的博客 3953
上一篇: Spring batch教程 之 配置Step
下一篇: StringUtils.isEmpty用法
回头等终点
博客等级 码龄10年 29粉丝 17原创
评论 1
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值