xxl-job如何实现分片处理

原创已于 2023-05-20 13:58:50 修改

· 3.5k 阅读

5 ·

版权

文章标签：

#java

于 2023-03-25 10:00:00 首次发布

Java 专栏收录该内容

40 篇文章

订阅专栏

xxl-job是一个开源的Java实现的分布式任务调度平台，支持Cron、API等多种调度方式和丰富的任务路由策略。文章介绍了其任务执行日志、报警机制及分片广播等功能，适合大规模任务调度。在集群环境中，xxl-job利用任务路由策略确保任务在节点间的有效分配，例如使用分片广播来加速执行长耗时任务。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

一、简介

xxl-job是一款开源、分布式任务调度平台。它基于Java语言开发，提供Web界面和API接口，支持多种任务调度方式，如Cron、API、固定速率等，并具备任务依赖、任务分片、任务路由等高级功能。xxl-job还提供任务执行日志、报警通知、任务失败重试等实用工具，方便用户管理和监控任务。xxl-job的设计理念是简单易用、高可靠、高性能，适用于各种规模的任务调度需求。

二、场景描述

一般在集群环境下，我们job被部署了多个节点，xxl-job需要做到只要有一个节点去执行job，这时候需要依赖xxl-job的任务路由策略进行分配节点。
xxl-job提供的路由策略有：第一个、最后一个、轮询、随机、一致性HASH、最不经常使用、最近最久未使用、故障转移、忙碌转移、分片广播。
对于简单的任务，我们选择轮询、随机、故障转移都是可以的，但是对于执行时间长的任务，我们希望能分散到各个节点上执行，从而加快完成的速度，这时候就需要用到分片广播。

三、代码以及配置

xxl-job的页面配置如下，路由策略选择分片广播
图片.png JobHandler的代码如下

/**
 * 分片广播任务
 */
@XxlJob("shardingJobHandler")
public void shardingJobHandler() throws Exception {

    // 分片参数
    int shardIndex = XxlJobHelper.getShardIndex();
    int shardTotal = XxlJobHelper.getShardTotal();

	XxlJobHelper.log("分片参数：当前分片序号 = {}, 总分片数 = {}", shardIndex, shardTotal);
	//获取需要处理的所有门店列表
	List<StoreInfo> storeInfoList = storeInfoMapper.selectList(new QueryWrapper<StoreInfo>().lambda().orderByDesc(StoreInfo::getStoreCode));

	//当前分片需要处理的门店列表
	List<StoreInfo> shardStoreInfoList = new ArrayList<>();
    // 业务逻辑
    for (int i = 0; i < storeInfoList.size(); i++) {
        if (i % shardTotal == shardIndex) {
            //将当前分片需要处理的门店加入list
            shardStoreInfoList.add(storeInfoList.get(i));
        }
    }
    //处理业务逻辑...
	service.doBusiness(shardStoreInfoList);
}