SpringBatch中使用分区及多线程性能比较

最新推荐文章于 2025-04-16 15:32:26 发布
转载 最新推荐文章于 2025-04-16 15:32:26 发布 · 2.2k 阅读 · 9 ·
CC 4.0 BY-SA版权
原文链接：https://my.oschina.net/xulong1/blog/1538806
文章标签：

#java #大数据 #数据库

本文探讨了在SpringBatch中，使用多线程与分区策略处理大量数据的性能比较。通过测试，两种方案在处理200万条数据时，时间差距不大。当线程池设置为50个时，直接使用多线程的方式比10个分区的方式稍快。此外，文章提到了在分区策略中，初始化data_index字段的时间成本也是一个考虑因素。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

  1. 表结构说明：借据表（测试之前批量写入了200万数据）；借据备份表1（使用多线程处理）；借据备份表2（使用分区处理）
CREATE TABLE `t_batch_duebill` (
  `duebillno` char(32) NOT NULL COMMENT '借据号',
  `balance` decimal(16,2) NOT NULL DEFAULT '0.00' COMMENT '剩余本金',
  `payoff_flag` char(3) NOT NULL DEFAULT 'WJQ' COMMENT '结清标志：WJQ 未结清; YJQ 已结清',
  `interest` decimal(16,2) NOT NULL DEFAULT '0.00' COMMENT '当前利息',
  `data_index` int(11) DEFAULT NULL COMMENT '当前处理的下标',
  PRIMARY KEY (`duebillno`),
  UNIQUE KEY `data_index_unique` (`data_index`)
) ENGINE=InnoDB DEFAULT CHARSET=latin1 COMMENT='测试-借据表';

CREATE TABLE `t_batch_duebill_bak1` (
  `duebillno` char(32) NOT NULL COMMENT '借据号',
  PRIMARY KEY (`duebillno`)
) ENGINE=InnoDB DEFAULT CHARSET=latin1 COMMENT='借据表备份表1';

CREATE TABLE `t_batch_duebill_bak2` (
  `duebillno` char(32) NOT NULL COMMENT '借据号',
  PRIMARY KEY (`duebillno`)
) ENGINE=InnoDB DEFAULT CHARSET=latin1 COMMENT='借据表备份表2';
  1. 测试说明：
    将借据表中的数据写入到2个备份表中：
    考虑到线程安全问题，写入的备份表都只有一个借据编号主键，如果使用非安全的读（如JdbcCursorItemReader ）将可能会造成主键冲突，所以2种方案都选用了JdbcPagingItemReader 线程安全的读分页（每页2000条）写入频率为10000条一提交
    第一种方案使用多线程读写：直接从借据表t_batch_duebill中读取数据
    第二种方案使用分区读写：
    1、首先需要把借据表t_batch_duebill的data_index字段从1开始更新（这步不在程序中体现，手动通过SQL处理）
    2、查询出借据表t_batch_duebill中总记录数，根据传入的分区数，计算每个分区需要处理多少数据（总数/分区数）
  2. 测试结果：
    第一种方案跟第二种方案测试结果如下：
    1、[77293]ms（读取[2000000]条，写入[2000000]条, 跳过[0]数据）
    2、[81835]ms（读取[2000000]条，写入[2000000]条, 跳过[0]数据）
    3、通过多次反复测试结果来看，这2种方案时间差距不大，而且如果线程池初始线程为50个的话，都用这个线程池，第二种方案使用10个分区的话第一种方案稍微快点（毕竟第一种方案是直接使用全部50个线程，而第二种方案中每个分区使用一个线程处理，只使用了10个线程）
    4、还忽略了一个问题，就是第二种方案中第一个步骤需要将data_index字段从1开始标号，这个时间如果用SQL处理的话大概是10-30秒，如果用存储过程游标实现，时间达到了惊人的4分10秒（可能是我的SQL水平太弱）
  3. 代码
    1、配置文件（使用spring boot-1.5.4） application.yml 启动文件
management:
  health:
    zookeeper:
      enabled: true
server:
  port: 8080
  context-path: /

security:
  basic:
    enabled: false
logging:
  file: partition.log
  level: info
  path: /Users/xulong/logs/partition
spring:
  session:
    store-type: none
  cloud:
    zookeeper:
      enabled: false
  batch:
    initializer:
      enabled: false
    job:
      enabled: false
  druid:
    username: root
    password: root
    min-idle: 5
    max-wait: 6000
    max-active: 200
    initial-size: 5
    test-on-borrow: false
    test-while-idle: true
    test-on-return: false
    filters: stat,wall,logback
    pool-prepared-statements: true
    min-evictable-idle-time-millis: 300000
    time-between-eviction-runs-millis: 60000
    max-pool-prepared-statement-per-connection-size: 20
    connection-properties: druid.stat.mergeSql=true;druid.stat.slowSqlMillis=5000
    db-url: jdbc:mysql://localhost:3306/batch?useUnicode=true&characterEncoding=utf-8&useSSL=true

pom.xml 文件

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
    <modelVersion>4.0.0</modelVersion>

    <groupId>com.csii.loan.batch</groupId>
    <artifactId>partition</artifactId>
    <version>1.0.0</version>
    <packaging>jar</packaging>

    <name>partition</name>
    <description>分区测试</description>

    <parent>
        <groupId>org.springframework.boot</groupId>
        <artifactId>spring-boot-starter-parent</artifactId>
        <version>1.5.4.RELEASE</version>
        <relativePath/> <!-- lookup parent from repository -->
    </parent>

    <properties>
        <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>
        <project.reporting.outputEncoding>UTF-8</project.reporting.outputEncoding>
        <java.version>1.8</java.version>
        <!--<spring-cloud.version>Dalston.SR1</spring-cloud.version>-->
    </properties>

    <dependencies>
        <dependency>
            <groupId>org.apache.commons</groupId>
            <artifactId>commons-lang3</artifactId>
            <version>3.3.2</version>
        </dependency>
        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-aop</artifactId>
        </dependency>
        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-batch</artifactId>
        </dependency>
        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-cache</artifactId>
        </dependency>
        <!--<dependency>
            <groupId>org.springframework.cloud</groupId>
            <artifactId>spring-cloud-starter-zookeeper-config</artifactId>
        </dependency>-->
        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-integration</artifactId>
        </dependency>
        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-jdbc</artifactId>
        </dependency>
        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-security</artifactId>
        </dependency>
        <dependency>
            <groupId>org.springframework.session</groupId>
            <artifactId>spring-session</artifactId>
        </dependency>
        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-web</artifactId>
        </dependency>

        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-devtools</artifactId>
            <scope>runtime</scope>
        </dependency>
        <dependency>
            <groupId>mysql</groupId>
            <artifactId>mysql-connector-java</artifactId>
            <scope>runtime</scope>
        </dependency>
        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-test</artifactId>
            <scope>test</scope>
        </dependency>
        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-configuration-processor</artifactId>
            <optional>true</optional>
        </dependency>
        <dependency>
            <groupId>com.alibaba</groupId>
            <artifactId>druid</artifactId>
            <version>1.0.29</version>
        </dependency>
        <dependency>
            <groupId>com.alibaba</groupId>
            <artifactId>fastjson</artifactId>
            <version>1.2.30</version>
        </dependency>
    </dependencies>

    <!--<dependencyManagement>
        <dependencies>
            <dependency>
                <groupId>org.springframework.cloud</groupId>
                <artifactId>spring-cloud-dependencies</artifactId>
                <version>${spring-cloud.version}</version>
                <type>pom</type>
                <scope>import</scope>
            </dependency>
        </dependencies>
    </dependencyManagement>-->

    <build>
        <plugins>
            <plugin>
                <groupId>org.springframework.boot</groupId>
                <artifactId>spring-boot-maven-plugin</artifactId>
            </plugin>
        </plugins>
    </build>

</project>

classpath:batch/applicationContext.xml

<?xml version="1.0" encoding="UTF-8"?>
<beans xmlns="http://www.springframework.org/schema/beans"
       xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
       xmlns:batch="http://www.springframework.org/schema/batch"
       xsi:schemaLocation="http://www.springframework.org/schema/beans
        http://www.springframework.org/schema/beans/spring-beans.xsd


        http://www.springframework.org/schema/batch
        http://www.springframework.org/schema/batch/spring-batch.xsd">
最低0.47元/天 解锁文章

200万优质内容无限畅学
chenying0724
关注
spring batch 远程分区，各机器耗时不均问题，如何解决?
**My Coding Family**
01-22 712
从您描述的情况来看，虽然任务拆分和分配看似均衡，但在实际执行过程中，仍可能由于不同机器的资源、网络、数据库等方面的差异导致性能不均。建议通过详细的监控和日志分析，排查 CPU 使用、内存负载、垃圾回收、网络延迟、数据库瓶颈等因素，逐步缩小问题范围。最终，您可以尝试调整分区的负载均衡策略、优化资源分配或调优配置，来解决远程分区任务耗时不均的问题。希望如上措施及解决方案能够帮到有需要的你。
SpringBatch 多线程(TaskExecutor)启动Job详解 (七)
境里婆娑
09-13 7588
文章目录一、SpringBatch配置多线程二、SpringBatch多线程的tasklet配置 前言：使用单线程，单个进程作业可以解决许多批处理问题，如果我们想要job执行的速度更快，SpringBatch提供了对多线程的支持。只需要简单的配置，我们的job就可以使用多线程运行。 SpringBatch其它文章直通车： SpringBatch读单个文件(FlatFileItemReader)和...
spring-batch-multithreaded:spring-batch-多线程
06-29
Spring Batch 多线程示例 有两个 RDBMS（它们在应用程序的 Oracle 模式下用 H2 模拟）。 我们必须从第一个 DB 的 CLOB 字段中提取一些 XML，通过多个线程使用给定的 XSL 对其进行转换，然后将转换后的 XML 插入到第二个 DB 中。 如果您从 IDE 运行应用程序，请使用以下参数： 主类：org.springframework.batch.core.launch.support.CommandLineJobRunner 程序参数：jobs/migrationJob.xml migrationJob
SpringBatch概述
qq_36526036的博客
03-22 7865
1、SpringBatch简介 1.1、简介 根据Spring官网描述，Spring Batch是一个轻量级的、完善的批处理应用框架，旨在支持企业系统建立健壮、高效的批处理应用。然而Spring Batch不是一个调度框架，它只关注于任务的处理，如日志监控、事务、并发问题等，但是它可以与其它调度框架一起联合使用，完成相应的调度任务，如Quartz、Tivoli、Control-M等。 Sprin...
Spring Batch 高级篇-多线程步骤
langfeiyes的博客
02-23 3719
了解Spring Batch ItemWriter处理组件后，接下来一起学习一下Spring Batch 高级功能-多线程步骤
java read性能_Spring Batch Reader性能问题
weixin_39849894的博客
03-06 231
我们有一个Spring批处理代码，它从本地硬盘读取数据，创建一个Object并发送到Apache Solr进行索引 . 与使用独立运行代码时相比，使用JBoss时我们看到的性能非常差 .使用YourKit分析器，我们看到消耗的时间是组件读取数据和创建solr对象所花费的时间 .对于我们记录的时间，对于1000条记录，独立需要7秒，在JBoss作为批处理过程，需要7分钟 . / ** ** Nam...
springBatch多线程设置
chaleshyc的博客
02-08 1万+
本文介绍springBatch 多线程两种配置方式: 1、第二种方式如下配置方式，reader、processor、writer都是多线程处理，处理线程数为10.但是今天我测试发现设置的线程数为n，通常只有n-1个线程在跑， 猜测少的那个线程可能是作为备用线程或者是任务调度线程。 batch:job id="Job"> batch:step id="Step">
Spring Batch 专题系列（六）：并行处理与性能优化
最新发布
资深架构师分享：深入剖析软件架构，探讨云计算、微服务、大数据等前沿技术。分享实践经验，促进技术交流，共同构建卓越系统。
04-16 1083
在上一篇文章中，我们学习了 Spring Batch 的错误处理机制（Skip、Retry、Restart 和 Listener），掌握了如何提升作业的健壮性。随着数据量的增加，批处理任务的性能成为关键挑战。Spring Batch 提供了强大的并行处理功能，包括多线程 Step、分区（Partitioning）和并行 Job，能够显著缩短运行时间。此外，性能优化还涉及 Chunk 大小、缓冲区配置等细节。本文将聚焦以下内容：通过本文，你将学会如何利用 Spring Batch 的并行机制处理海量数据，并优
spring-batch分区处理示例
01-18
在Spring Batch中，分区处理是一种优化策略，它将大型工作负载分解成多个较小、独立的任务，这些任务可以在不同的线程或甚至不同的节点上并行运行，从而提高处理速度。在本示例中，我们将深入探讨"spring-batch 分区...
Spring Batch并发加分区读取数据库的完美优化方案
ShengmingXu的博客
02-05 2073
** 今天我们会介绍Spring Batch批处理读写大型数据库的优化方案 背景介绍 现在我们有两个数据库，数据库A是新数据库，里面保存了公司所有员工的员工工号，数据库B是老数据库，里面保存了公司所有员工对应的详细信息，数据库B里面的数据会每天被定时任务更新。 我们希望用两个定时任务来维护我们的两个数据库，第一个定时任务会把数据库A中所有的员工工号发送给人力资源部门系统，再把从人力资源部门返回的信息写到公司的云盘中。 第二个定时任务会读取云盘中被写入的文件，解析并写出到数据库B中，从而达到每日更新的目的。
批处理框架 Spring Batch 这么强，你会用吗？
民工哥的博客
02-15 573
点击下方“Java编程鸭”关注并标星更多精彩 第一时间直达spring batch 是 spring 提供的一个数据处理框架。企业域中的许多应用程序需要批量处理才能在关键任务环境中执行业务...
QuartzSpringBatch多线程实现
07-30
SpringBatch是一个非常好的批处理是企业级业务系统，网上很多都是单进程的例子，我做了个多线程的读写数据库的例子。多线程有个问题就是数据安全性，那么加锁是解决这个问题的唯一方法，另外一个问题是对数据库里面数据的重复读取，那么只能对数据库表进行加锁，虽然这样做了，但是发现还会有一条记录重复读取，不过总比每条线程都重复读取所有数据来的好吧。如果要更简单的话，就只有开一条线程。水平有限，只能做出这点贡献。
spring-batch多线程开启
lewenson的博客
09-10 2236
通过之前的介绍，大姐对spring-batch有了一定的了解。但是当数据量达到十万级时，我们发现之前的JOB运行时间还是比较长的。 spring-batch优化效率可以直接在step中打开spring的多线程，进行多线程运行。当打开多线程之后，十万级的数据运行可以在秒级运行完毕。 打开多线程分两步，1.关闭读取中的状态记录2.开启spring的多线程 代码如下 @Bean("userReader") public FlatFileItemReader<Us...
Spring Batch之多线程Step(十五)
qq_21370419的博客
12-16 4610
Job执行默认情况使用单个线程完成任务。Spring Batch框架支持为Step配置多个线程，即可以使用多个线程并行执行一个Step，可以提高Step的处理速度。使用tasklet的属性为task-executor为Step定义多个线程。 <!--定义名字为billJob2的作业，多线程--> <batch:job id="billJob2"> <!--定义一个Step，继承parentStep--> <batch:step i...
批处理框架springbatch读取文件入库mysql比flink更快
于采柳的博客
12-28 1340
百万数据springbatch批处理入库mysql比flink要快
Spring Batch(7): 并行与扩展
热门推荐
Spring , Hadoop, Spark , BI , ML
03-26 1万+
1. 概述Spring Batch提供了多种方式用于处理并行，提高性能。主要分为2大类： - 单个进程，多线程 - 多个进程因此，可以细分为以下几类： - 多线程Step（Multi-thread Step,single process) - 并行Step（Parallel Steps, single process ) - Remote Chunking of Step(
Spring Batch_使用多线程运行一组相同任务的JOB
gaoqiao1988的专栏
10-21 8531
Spring Batch_使用多线程运行一组相同任务的JOB Spring Batch_使用多线程运行一组相同任务的JOB 主要思路：在spring batch中，一个job会完成一个任务，处理一个数据集，有时这个数据集会很大，导致运行时间很长（虽然做了各种优化，数据库访问的优化，代码的优化等等），但是我想如果把这个数据集分成几块，配置几个相同的job来完成同一个任
springbatch chunk➕分区 线程设置成多少合适
03-21
<think>嗯，用户问的是Spring Batch中chunk加分区的情况下线程设置多少合适。首先我需要回忆一下Spring Batch的基本概念。Chunk处理是分块处理数据，而分区则是将数据分成多个部分并行处理。线程数的设置对性能有很大影响，但具体怎么确定呢？ 首先，可能要考虑的因素包括数据量、每个分区的处理时间、系统资源比如CPU核心数。如果线程数设置过多，可能会导致资源竞争，反而降低性能。但设置太少又不能充分利用资源。 用户可能是在处理大数据量的任务，想要优化处理时间。他们可能已经实现了分区，但不确定如何配置线程数以达到最佳效果。可能需要解释线程数设置的原则，比如根据CPU核心数调整，或者根据IO和计算密集型的区别。 另外，Spring Batch中的分区通常使用TaskExecutorPartitionHandler，这里线程池的大小配置是关键。需要提到如何配置这个线程池，比如使用ThreadPoolTaskExecutor，并设置corePoolSize和maxPoolSize。 还要注意避免常见错误，比如线程数超过数据库连接池的最大连接数，导致等待数据库连接，反而影响性能。或者分区数量与线程数不匹配，导致有的线程空闲。 可能还需要给出一些实际例子，比如CPU密集型任务建议线程数为核心数+1，IO密集型则可能需要更多，但具体还要测试调整。建议用户进行基准测试，逐步调整线程数，监控系统资源使用情况，找到最优配置。 总结下来，回答需要分步骤，先讲理论上的考虑因素，再结合Spring Batch的具体配置，最后给出建议的最佳实践和注意事项。这样用户可以根据自己的实际情况调整，而不是给出一个固定的数值。</think>在Spring Batch中，chunk+分区模式下的线程设置需要综合考虑以下因素： 一、核心原则 1. CPU核数基准 - 建议初始值：CPU逻辑核心数 ±2 - 公式参考：$$线程数 ≈ CPU核数 \times (1 + 等待时间/计算时间)$$ - IO密集型：可适当增加（如核数×2） - CPU密集型：建议≤核数 2. 分区数量匹配 - 理想情况：线程数 = 分区数量 - 动态调整：当分区数远大于CPU核数时，建议设置线程数=核数 二、Spring Batch配置示例 ```java @Bean public TaskExecutor taskExecutor() { ThreadPoolTaskExecutor executor = new ThreadPoolTaskExecutor(); executor.setCorePoolSize(4); // 常驻线程数（建议=CPU核数） executor.setMaxPoolSize(8); // 最大扩展线程数（建议≤核数×2） executor.setQueueCapacity(0); // 禁用队列，直接创建新线程 return executor; } @Bean public PartitionHandler partitionHandler() { TaskExecutorPartitionHandler handler = new TaskExecutorPartitionHandler(); handler.setTaskExecutor(taskExecutor()); handler.setGridSize(8); // 分区数量 return handler; } ``` 三、优化建议 1. 监控指标 - CPU利用率：保持70-80% - 内存使用：避免频繁GC - 磁盘IO：监控等待时间 - 数据库连接：确保连接池足够 2. 典型场景 - 文件处理：线程数=核数+1 - 数据库读写：建议≤（数据库连接池大小 / 2） - 混合型任务：从核数开始逐步调优 四、注意事项 1. 避免过度分配线程导致： - 上下文切换开销（计算公式）：$$切换开销 ≈ 线程数 \times 切换时间$$ - 内存争用 - 数据库锁竞争 2. 特殊限制 - 非线程安全组件：需要同步时减少线程数 - 事务管理器：确保支持多线程 - 共享资源：如文件写入需加锁 建议通过JMeter/Grafana进行压力测试，观察不同线程数下的吞吐量和资源消耗曲线，找到最优解。通常从CPU核数开始测试，每次±20%调整，直到达到性能拐点。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值