作业优化——在step中使用多线程

最新推荐文章于 2025-05-22 09:28:11 发布

苍鹰蛟龙

最新推荐文章于 2025-05-22 09:28:11 发布

阅读量1k

点赞数

CC 4.0 BY-SA版权

分类专栏： spring batch 文章标签： spring-batch

本文链接：https://blog.youkuaiyun.com/u010502101/article/details/79688622

spring batch 专栏收录该内容

28 篇文章

订阅专栏

本文介绍如何在Spring框架下使用线程池来提高批量处理任务的效率，特别是在处理大量数据时通过多线程并行处理缩短执行时间。文章强调了在并发读取数据时使用Synchronized关键字确保数据一致性的重要性。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

假设一个step中要执行一项读数据、然后处理数据，最后写数据的任务，如果数据非常大，需要很长的一段的时间才能处理完，此种情况下就可以创建多个线程来同时执行该任务，缩短任务的执行时间。但是要在读的任务上加 Synchronized 标识，保证同一个时刻只有一个线程在读，使每个线程读取的数据不一样。如果不加Synchronized，有可能两个线程在同时读数据，读的数据会有部分重叠，影响数据的处理。

在spring中已经定义了ThreadPoolTaskExecutor线程池，在step中只需要使用该线程池即可。

    @Bean
    public Job fileReaderJob(){
        return jobBuilderFactory.get("fileReaderJob")
        .start(chunkStep())
        .build();
    }

    @Bean
    public Step chunkStep(){
        return stepBuilderFactory.get("chunkStep")
                .chunk(3)                                           
                .reader(new FileItemReader())   /*在FileItemReader的reader方法中要加Synchronized*/                        
                .writer(list -> list.forEach(System.out::println))
                .allowStartIfComplete(true) //测试用，生产去掉
                .taskExecutor(taskExecutor()) //启动线程池
                .build();
    }

    /*创建一个线程池，定义线程池的参数*/
    @Bean
    public ThreadPoolTaskExecutor taskExecutor(){
        ThreadPoolTaskExecutor threadPoolTaskExecutor = new ThreadPoolTaskExecutor();
        threadPoolTaskExecutor.setCorePoolSize(corePoolSize);
        threadPoolTaskExecutor.setMaxPoolSize(maxPoolSize);
        threadPoolTaskExecutor.setQueueCapacity(queueCapacity);
        threadPoolTaskExecutor.setKeepAliveSeconds(keepAliveSeconds);
        return threadPoolTaskExecutor;
    }