springboot 等待批量异步任务完成

文章描述了一个场景,使用Java的Future列表来并发执行多个异步方法,通过高速轮询获取每个Future的结果,同时管理线程池以优化性能。作者强调了核心线程数设置和任务队列容量的重要性,以及处理任务拒绝策略。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

以下代码示例的场景是;
现有需要统计或者计算, 每个计算项不互相依赖, 且最后的计算需要所有异步执行结果的情况下, 使用这种方法.

for (int j = 0; j < aaa; j++) {
    List<Future<Boolean>> futureList = new ArrayList<>();
	// 异步方法1
	futureList.add(hgDrugQiHeService.sjStatistics1(recordsList, qiLiHe));
	// 异步方法2
	futureList.add(hgDrugQiHeService.sjStatistics2(recordsList, qiLiHe));
	// 异步方法3
	futureList.add(hgDrugQiHeService.sjStatistics3(recordsList, qiLiHe));
    
	//查询任务执行的结果
    for (Future<?> future : futureList) {
        //CPU高速轮询:每个future都并发轮循,判断完成状态然后获取结果,这一行,是本实现方案的精髓所在。即有10个future在高速轮询,完成一个future的获取结果,就关闭一个轮询
        while (true) {
            //获取future成功完成状态,如果想要限制每个任务的超时时间,取消本行的状态判断+future.get(1000*1, TimeUnit.MILLISECONDS)+catch超时异常使用即可。
            if (future.isDone() && !future.isCancelled()) {
                //获取结果
                Boolean result = (Boolean) future.get();
                System.out.println("任务i=" + i + "获取完成!" + new Date());
                //当前future获取结果完毕,跳出while
                break;
            } else {
                //每次轮询休息1毫秒(CPU纳秒级),避免CPU高速轮循耗空CPU---》新手别忘记这个
                Thread.sleep(1);
            }
            System.out.println(new Date());
        }
    }

	// 异步任务全部执行完毕后, 执行以下代码
	System.out.println("开始下次循环");
       
}
@Async("scorePoolTaskExecutor") // 自定义线程池
public Future<Boolean> sjStatistics(){
    // 业务代码...
    log.info("执行完毕");
    return new AsyncResult<>(true);
}
@Configuration
@EnableAsync
public class SyncConfig {

    /**
     * 为 @Async 自定义一个线程池
     *
     * @return
     */
    @Bean(name = "scorePoolTaskExecutor")
    public ThreadPoolTaskExecutor getScorePoolTaskExecutor() {
        ThreadPoolTaskExecutor taskExecutor = new ThreadPoolTaskExecutor();
        int i = Runtime.getRuntime().availableProcessors();
        System.out.println("核心线程数"+i);
        // 核心线程数
        taskExecutor.setCorePoolSize(i*2);
        // 线程池维护线程的最大数量,只有在缓冲队列满了之后才会申请超过核心线程池的线程
        taskExecutor.setMaxPoolSize(i*2+1);
        // 缓冲队列
        taskExecutor.setQueueCapacity(200);
        // 允许线程的空闲时间60秒:当超过了核心线程出之外的线程在空闲时间到达之后会被销毁
        taskExecutor.setKeepAliveSeconds(60);
        // 线程池名的前缀
        taskExecutor.setThreadNamePrefix("score-");

        // 线程池对拒绝任务的处理策略
        /**
         * 当线程池的任务缓冲队列已满并且线程池中的线程数目已达到MaxPoolSize,如果还有任务到来就会采取任务拒绝策略
         * 通常有以下四种策略:
         *  new ThreadPoolExecutor.AbortPolicy(); 默认,丢弃任务,抛出异常
         *  new ThreadPoolExecutor.DiscardPolicy(); 丢弃任务,不抛异常
         *  new ThreadPoolExecutor.DiscardOldestPolicy(); 丢弃队列最前面的任务,然后重新尝试执行任务(重复此过程)
         *  new ThreadPoolExecutor.CallerRunsPolicy(); 重试添加当前的任务,自动重复调用 execute() 方法, 直到成功
         */
        taskExecutor.setRejectedExecutionHandler(new ThreadPoolExecutor.CallerRunsPolicy());
        taskExecutor.initialize();
        return taskExecutor;
    }

}
### Spring Boot 实现批量插入数据的最佳实践 #### 使用 JDBC 批处理 为了提高大批量数据插入效率,在 Spring Boot 中可以采用 JDBC 的批处理功能。这种方式能够显著减少网络往返次数,从而提升性能[^1]。 ```java @Autowired private JdbcTemplate jdbcTemplate; public void batchInsert(List<MyData> dataList){ String sql = "INSERT INTO my_table (column1, column2) VALUES (?, ?)"; List<Object[]> argsList = new ArrayList<>(); for(MyData data : dataList){ Object[] params = {data.getColumn1(), data.getColumn2()}; argsList.add(params); } int[] updateCounts = jdbcTemplate.batchUpdate(sql, argsList.toArray(new Object[0][0])); } ``` 此代码片段展示了如何利用 `JdbcTemplate` 来执行批量更新操作。通过构建参数列表并调用 `batchUpdate()` 方法完成大量记录的一次性提交。 #### 整合 InfluxDB 进行时间序列数据分析 对于特定类型的数据库如InfluxDB而言,则可以通过其特有的API——BatchPoints来达成高效的数据存储目的。这特别适用于物联网领域内的实时监测与历史趋势分析等应用场景[^2]。 ```java BatchPoints batchPoints = BatchPoints.database("mydb").retentionPolicy("autogen").build(); for(DataPoint point : points){ Point p = Point.measurement("measurement") .time(System.currentTimeMillis(), TimeUnit.MILLISECONDS) .addField("fieldKey", value) .build(); batchPoints.point(p); } influxDB.write(batchPoints); ``` 上述例子说明了怎样借助BatchPoints对象收集多个测量点后再统一发送给服务器端保存起来的过程。 #### 利用 Spring Batch 构建复杂业务逻辑下的批处理作业 当面临更复杂的业务需求时,比如涉及文件解析、转换以及最终持久化入库等多个环节的任务流程控制问题上,Spring Batch框架无疑是一个理想的选择。该工具包不仅具备良好的可配置性和灵活性,还自带完善的错误恢复机制以保障整个过程的安全可靠运行[^3]。 ```xml <job id="importJob"> <step id="step1"> <tasklet> <chunk reader="flatFileItemReader" writer="jpaItemWriter" commit-interval="10"/> </tasklet> </step> </job> ``` 这里给出了一段简单的XML配置样例用于定义一个名为 importJob 的工作流步骤;其中包含了读取器(reader)、处理器(processor) 和写入器(writer),它们共同协作完成了从外部资源加载至目标表内指定字段映射的工作。 #### 多线程并发写入加速大数据集处理速度 面对海量级别的静态资料迁移挑战时,单一线程顺序化的I/O访问显然难以满足时效性的要求。此时引入多线程技术便成为了解决方案之一。通过对原始任务分解成若干子单元分别交给不同线程独立负责部分计算/IO活动,进而达到整体吞吐率倍增的效果[^4]。 ```java ExecutorService executor = Executors.newFixedThreadPool(10); List<Future<?>> futures = Lists.newArrayList(); for(final File file : filesToProcess){ Future<?> future = executor.submit(() -> { try{ processFile(file); // 自定义方法实现具体业务规则 }catch(Exception e){ logger.error(e.getMessage()); } }); futures.add(future); } // 等待所有异步任务结束... futures.forEach(Future::get); executor.shutdown(); ``` 这段程序示范了基于Java内置库 Executor 创建固定大小池子,并发启动一批后台工作者去平行地对待一系列输入源做进一步加工的情形。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

微微一笑满城空

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值