01 引言
上一期已经介绍XXL-JOB的架构思维、使用场景等方面。它的内部都包含了那些组件,各个组件的职能是什么以及它们之间是如何协调工作的呢?
02 总览架构图
2.1 官方的架构图
2.2 源码结构
xxl-job-admin:调度中心
xxl-job-core:公共依赖
xxl-job-executor-samples:执行器Sample示例(选择合适的版本执行器,可直接使用,也可以参考其并将现有项目改造成执行器)
:xxl-job-executor-sample-springboot:Springboot版本,通过Springboot管理执行器,推荐这种方式;
:xxl-job-executor-sample-frameless:无框架版本;
主要的Moudle
模块就是两个:
xxl-job-admin
:调度中心,单独部署,管理所有的执行器和调度任务xxl-job-core
:公共依赖,引入业务项目,编写独立的调度任务
2.3 三大灵魂组件
根据XXL-JOB
的架构设计,可以抽象出三大组件:
- 调度中心
- 执行器
- 调度任务
调度中心管理着执行器,执行器管理着调度任务。调度任务是最小的颗粒度的组件,也是业务编码的核心。
03 调度中心
调度中心是XXL-JOB
的指挥大脑,是任务调度的决策中枢,统一管理任务调度平台上调度任务,负责触发调度执行,并且提供任务管理平台。相当于机场的塔台调度员。
项目Moudle
是xxl-job-admin
模块。
3.1 核心武器库
- Quartz调度引擎:负责精准的定时触发(支持CRON表达式)
- 任务路由算法:智能选择执行器(第一个/最后一个/轮询/故障转移等)
- 失败重试机制:内置三级容错保护(失败告警 + 自动重试 + 人工干预)
3.2 部署
因为xxl-job-admin
本身就是Spring Boot
项目,可以直接使用Spring Boot
的方式启动。
脚本
/xxl-job/doc/db/tables_xxl_job.sql
配置文件修改
根据需要修改配置文件内容。主要就是数据库连接和邮件等
/xxl-job/xxl-job-admin/src/main/resources/application.properties
打包运行
调度中心访问地址:http://localhost:8080/xxl-job-admin (该地址执行器将会使用到,作为回调地址)
默认登录账号 “admin/123456”, 登录后运行界面如下图所示。
3.3 添加执行器和调度任务
执行器和调度任务并不会自动注册到调度中心的,需要手动按照一定的规则添加。
添加执行器:AppName要和定义的执行器保持一致,详见4.2
添加调度任务:JobHandler要和调度任务定义的保持一致,详见05
04 执行器
真正执行任务的作战单元,相当于与特种部队中的一个战斗小组,管理者不同的调度任务。
项目Moudle
是xxl-job-core
模块。
4.1 关键技术点
- 多线程池隔离:不同任务类型使用独立线程池,避免任务雪崩
- 心跳检测系统:每30秒向调度中心发送存活信号(类似特种兵的定位装置)
- 任务终止功能:支持通过API主动终止失控任务(紧急制动按钮)
4.2 执行器组件配置
执行器位于xxl-job-core
模块中,所以执行器的配置位于业务项目中。
配置如下:
@Bean
public XxlJobSpringExecutor xxlJobExecutor() {
logger.info(">>>>>>>>>>> xxl-job config init.");
XxlJobSpringExecutor xxlJobSpringExecutor = new XxlJobSpringExecutor();
xxlJobSpringExecutor.setAdminAddresses(adminAddresses);
xxlJobSpringExecutor.setAppname(appname);
xxlJobSpringExecutor.setIp(ip);
xxlJobSpringExecutor.setPort(port);
xxlJobSpringExecutor.setAccessToken(accessToken);
xxlJobSpringExecutor.setLogPath(logPath);
xxlJobSpringExecutor.setLogRetentionDays(logRetentionDays);
return xxlJobSpringExecutor;
}
其中主要参数:
### 调度中心部署根地址 [选填]:如调度中心集群部署存在多个地址则用逗号分隔。执行器将会使用该地址进行"执行器心跳注册"和"任务结果回调";为空则关闭自动注册;
xxl.job.admin.addresses=http://127.0.0.1:8080/xxl-job-admin
### 调度中心通讯TOKEN [选填]:非空时启用;
xxl.job.admin.accessToken=default_token
### 调度中心通讯超时时间[选填],单位秒;默认3s;
xxl.job.admin.timeout=3
### 执行器AppName [选填]:执行器心跳注册分组依据;为空则关闭自动注册
xxl.job.executor.appname=xxl-job-executor-sample
### 执行器注册 [选填]:优先使用该配置作为注册地址,为空时使用内嵌服务 ”IP:PORT“ 作为注册地址。从而更灵活的支持容器类型执行器动态IP和动态映射端口问题。
xxl.job.executor.address=
### 执行器IP [选填]:默认为空表示自动获取IP,多网卡时可手动设置指定IP,该IP不会绑定Host仅作为通讯使用;地址信息用于 "执行器注册" 和 "调度中心请求并触发任务";
xxl.job.executor.ip=
### 执行器端口号 [选填]:小于等于0则自动获取;默认端口为9999,单机部署多个执行器时,注意要配置不同执行器端口;
xxl.job.executor.port=9999
### 执行器运行日志文件存储磁盘路径 [选填] :需要对该路径拥有读写权限;为空则使用默认路径;
xxl.job.executor.logpath=/data/applogs/xxl-job/jobhandler
### 执行器日志文件保存天数 [选填] : 过期日志自动清理, 限制值大于等于3时生效; 否则, 如-1, 关闭自动清理功能;
xxl.job.executor.logretentiondays=30
05 调度任务
调度任务是是最小颗粒度的任务单元,作战中的一个个目标任务,也是我们最常编写的单元模块。
项目Moudle
同样是xxl-job-core
模块。嵌在业务项目中,实现具体的业务逻辑。
任务编写:需要继承com.xxl.job.core.handler.IJobHandler
,并使用@JobHandler
标注,最后交给Spring
管理。
@Component
@JobHandler("xxxHandler")
public class XxxHandler extends IJobHandler {
@Override
public ReturnT<String> execute(String param) throws Exception {
// 业务逻辑编写
return SUCCESS;
}
}
06 组件协作
上面已经完成了分布式调度任务的配置,他们之间是怎么项目协作的?
以每5分钟执行一次调度任务为例:
- ①调度触发:调度中心的Quartz引擎在第5分钟准时触发任务,通过路由算法选择所有在线的库存服务执行器
- ②任务分片:在数据量比较大的时候,可以采用分片处理,将数据分治处理,不同的分片处理不同的数据,提高处理速度。
- ③执行上报:各执行器将执行日志实时回传调度中心,管理平台可查看每个分片的进度。
- ④异常处置:若某个分片执行失败,根据预设策略进行重试,连续失败3次触发邮件告警
07 小结
在分布式系统的战场上,XXL-JOB就像一位运筹帷幄的指挥官。它的每个组件都经过千万级任务量的考验,无论你的系统是初创企业的小船,还是互联网巨轮的航母战斗群,它都能为你构建可靠的任务调度防线。
但是并不是所有的定时任务都适合XXL-JOB
,如下:
- 简单的单体项目
- 订单超时的延迟处理
尺有所短寸有所长,选择不同的场景选择不同的工具,才是我们的最佳选择。
XXL-JOB
是如何实现,跨服务调用的呢?执行器在编辑保存时,是如何获跨服务取到在线的设备IP的呢?我们下期聊!
END
喜欢就点赞收藏,也可以关注我的微信公众号:编程朝花夕拾