XXL-JOB 使用总结

1. 初始化调度数据库

官网及文档：分布式任务调度平台 XXL-JOB

项目地址：

• xuxueli/xxl-job:（分布式任务调度平台 XXL-JOB）
• xxl-job: 一个分布式任务调度平台

在项目 doc/db 目录下存在数据库初始化脚本，执行该脚本初始化数据库

2. 配置部署调度中心

将项目 clone 到本地，一共包括三个模块

• xxl-job-admin：调度中心
• xxl-job-core：公共依赖
• xxl-job-executor-samples：执行器 Sample 示例（选择合适的版本执行器，可直接使用，也可以参考其并将现有项目改造成执行器）
  • xxl-job-executor-sample-springboot：SpringBoot 版本，通过 SpringBoot 管理执行器，推荐
  • xxl-job-executor-sample-frameless：无框架版本

修改调度中心配置文件，项目根路径 resources 下的 application.properties 文件，以及 logback.xml 文件的日志路径，可根据个人选择修改

配置文件内容说明如下，可根据情况进行修改

### 调度中心JDBC链接：链接地址请保持和所创建的调度数据库的地址一致
spring.datasource.url=jdbc:mysql://127.0.0.1:3306/xxl_job?useUnicode=true&characterEncoding=UTF-8&autoReconnect=true&serverTimezone=Asia/Shanghai
spring.datasource.username=root
spring.datasource.password=root_pwd
spring.datasource.driver-class-name=com.mysql.jdbc.Driver
### 报警邮箱
spring.mail.host=smtp.qq.com
spring.mail.port=25
spring.mail.username=xxx@qq.com
spring.mail.password=xxx
spring.mail.properties.mail.smtp.auth=true
spring.mail.properties.mail.smtp.starttls.enable=true
spring.mail.properties.mail.smtp.starttls.required=true
spring.mail.properties.mail.smtp.socketFactory.class=javax.net.ssl.SSLSocketFactory
### 调度中心通讯TOKEN [选填]：非空时启用；
xxl.job.accessToken=
### 调度中心国际化配置 [必填]： 默认为 "zh_CN"/中文简体, 可选范围为 "zh_CN"/中文简体, "zh_TC"/中文繁体 and "en"/英文；
xxl.job.i18n=zh_CN
## 调度线程池最大线程配置【必填】
xxl.job.triggerpool.fast.max=200
xxl.job.triggerpool.slow.max=100
### 调度中心日志表数据保存天数 [必填]：过期日志自动清理；限制大于等于7时生效，否则, 如-1，关闭自动清理功能；
xxl.job.logretentiondays=30

然后启动 XxlJobAdmin，访问 http://localhost:8080/xxl-job-admin 管理页面，具体的端口和路径以个人配置为准，该地址为执行器的回调地址

默认用户名密码为 admin/123456，登录后主界面如下

至此调度中心项目已经成功运行

3. 配置部署执行器项目

项目引入 xxl-job-core 依赖

<dependency>
      <groupId>com.xuxueli</groupId>
      <artifactId>xxl-job-core</artifactId>
      <version>2.4.0</version>
</dependency>

配置文件如下：

xxl:
  job:
    # 执行器通讯TOKEN [选填]：非空时启用
    accessToken:
    # 调度中心部署根地址 [选填]：如调度中心集群部署存在多个地址则用逗号分隔。执行器将会使用该地址进行"执行器心跳注册"和"任务结果回调"；为空则关闭自动注册
    admin:
      addresses: http://127.0.0.1:8080/xxl-job-admin
    executor:
      # 执行器AppName [选填]：执行器心跳注册分组依据；为空则关闭自动注册
      appname: xxl-job-executor-sample
      # 执行器注册 [选填]：优先使用该配置作为注册地址，为空时使用内嵌服务 ”IP:PORT“ 作为注册地址。从而更灵活的支持容器类型执行器动态IP和动态映射端口问题
      address:
      # 执行器IP [选填]：默认为空表示自动获取IP，多网卡时可手动设置指定IP，该IP不会绑定Host仅作为通讯实用；地址信息用于 "执行器注册" 和 "调度中心请求并触发任务"
      ip:
      # 执行器端口号 [选填]：小于等于0则自动获取；默认端口为9999，单机部署多个执行器时，注意要配置不同执行器端口
      port: 9999
      # 执行器运行日志文件存储磁盘路径 [选填] ：需要对该路径拥有读写权限；为空则使用默认路径
      logpath: logs
      # 执行器日志文件保存天数 [选填] ： 过期日志自动清理, 限制值大于等于3时生效; 否则, 如-1, 关闭自动清理功能
      logretentiondays: 7

添加配置类 XxlJobConfig

@Configuration
public class XxlJobConfig {

    @Value("${xxl.job.admin.addresses}")
    private String adminAddresses;

    @Value("${xxl.job.executor.appname}")
    private String appname;

    @Value("${xxl.job.executor.ip}")
    private String ip;

    @Value("${xxl.job.executor.port}")
    private int port;

    @Value("${xxl.job.accessToken}")
    private String accessToken;

    @Value("${xxl.job.executor.logpath}")
    private String logPath;

    @Value("${xxl.job.executor.logretentiondays}")
    private int logRetentionDays;

    @Bean
    public XxlJobSpringExecutor xxlJobExecutor() {
        XxlJobSpringExecutor xxlJobSpringExecutor = new XxlJobSpringExecutor();
        xxlJobSpringExecutor.setAdminAddresses(adminAddresses);
        xxlJobSpringExecutor.setAppname(appname);
        xxlJobSpringExecutor.setIp(ip);
        xxlJobSpringExecutor.setPort(port);
        xxlJobSpringExecutor.setAccessToken(accessToken);
        xxlJobSpringExecutor.setLogPath(logPath);
        xxlJobSpringExecutor.setLogRetentionDays(logRetentionDays);
        return xxlJobSpringExecutor;
    }
}

在需要定时执行的方法上加上 @XxlJob("JobHandler") 注解，这里的值为后面定时任务 JobHandler 的值

@RestController
public class TestController {

    @GetMapping("/test")
    @XxlJob("test")
    public String test() {
        System.out.println("test");
        return "test";
    }
}

然后启动项目

4. 执行定时任务

首先需要添加执行器，AppName 即为执行器配置文件的 appname 值，机器地址选择自动注册或手动录入都可以，这里选择自动注册

添加完成后等待一会，就可以看到机器地址已经自动注册了进来，一直为空的话表示自动注册有问题，需要排查一下执行器配置文件的调度中心地址和端口是否正确

然后添加定时任务，选择我们刚刚创建的执行器，这里的 JobHandler 的值为前面 @XxlJob("JobHandler") 的值

保存后，点击执行一次进行测试

在调度日志里可以看到执行成功

5. 部署

部署项目见：服务器部署 Spring Boot 前后端分离项目

这里需要注意的是，将调度中心部署到服务器后，本地执行器虽然能注册到调度中心里，但是执行定时任务失败，连接本地地址超时，将本地项目也部署到服务器即可执行成功

集群部署则在不同服务器部署启动调度中心即可，但每个调度中心节点需要连接同一个 MySQL 数据库，配置的 accessToken 也必须一致，同时机器时钟也需要保持一致，可以使用相同的 NTP 时钟服务器

执行器连接调度中心，可以选择直接连接或者借助中间件

xxl:
  job:
    admin:
      # 把 xxl-job-admin 中的所有节点地址配置上，中间以英文逗号分隔
      addresses: http://192.168.136.128:8080/xxl-job-admin,http://192.168.136.129:8080/xxl-job-admin

xxl:
  job:
    admin:
      # 把 nginx 转发后的统一访问地址配置上即可
      addresses: http://192.168.136.128:8080/xxl-job-admin

1、调度中心避免任务重复执行的机制

• 分片机制：xxl-job 调度中心会将任务分片后分配给执行器实例执行，并确保同一个任务的不同分片在同一个时间点只会被一个执行器实例执行
• 任务锁机制：调度中心会通过任务锁机制来控制任务的执行，确保同一个任务在同一个时间点只会被一个执行器实例获取执行权限
• 调度策略：调度中心会根据任务的调度策略来控制任务的执行逻辑，确保同一个任务在同一个时间点不会被重复执行
• 执行日志记录：调度中心会记录任务的执行日志，以及任务的执行状态和执行结果，可以通过执行日志来监控任务的执行情况，并避免重复执行

2、负载均衡和故障转移

调度中心集群启动时，集群中会发生 Leader 选举，最终选举出一个节点作为主节点，主节点负责协调任务调度、监控和管理等工作，而备用节点则处于待命状态，等待主节点失效时接管服务。主节点对外提供服务的优势在于集中了管理和处理请求，增加了系统的稳定性和一致性。同时，当主节点失效时，备用节点可以快速接管服务，实现故障转移，保证了服务的持续性和可用性

故障转移的基本过程如下：

1. 节点故障检测：其他集群节点通过心跳机制或定时检测机制会感知到宕机节点的故障，一般通过网络请求超时或节点状态检测来确定节点是否宕机
2. Leader 丢失检测：集群所有节点会共同监测当前主节点（Leader）的状态，如果主节点挂掉或失效，将视为 Leader 丢失
3. 重新选举 Leader：如果主节点失效，集群中的其他备用节点将会进行重新选举新的主节点，通常会采用一种分布式选主算法（如 Zookeeper 的临时顺序节点）来确保选举的唯一性
4. 新 Leader 接管服务：选举出的新主节点将接管原主节点的工作，负责协调任务调度、管理和监控等任务，开始对外提供服务
5. 服务恢复：一旦新主节点成功选举并接管服务，整个集群恢复正常运行，任务调度和管理等工作继续进行

当一个任务需要执行时，调度中心会根据任务的配置和执行器节点的状态，智能地选择合适的执行器节点来执行任务，以实现负载均衡。调度中心会监控执行器节点的负载情况、性能指标等，动态地进行任务的分配和调度，确保任务能够平衡地分配给各个执行器节点

当一个执行器节点宕机时，整个集群将会启动故障转移过程，其他正常在线的执行器节点将会接管宕机节点的任务，并继续执行下去，执行器集群故障转移的基本过程如下：

1. 调度中心监测节点状态：调度中心会定期检测执行器节点的健康状态，发现宕机节点后，将其标记为不可用
2. 任务调度转移：正在执行的任务可能被宕机节点中断，调度中心会将这些任务重新调度到其他正常在线的执行器节点上，确保任务不被中断
3. 重新分配任务：调度中心会重新分配该节点原本负责的任务到其他可用的执行器节点上，根据负载情况和任务优先级等因素进行分配
4. 执行器节点平稳接管：正在运行的任务可能会由其他执行器节点接管并继续执行，确保任务不被中断或丢失
5. 系统自动恢复：整个集群通过自动的故障转移和任务重新分配，在不影响系统稳定性和任务执行的情况下，使得集群恢复到正常运行状态