分布式定时任务PowerJob执行流程分析

powerJob：v3.4.5

一、基本概念

• appName：应用名称，建议与用户实际接入 PowerJob 的应用名称保持一致，用于业务分组与隔离。一个 appName 等于一个业务集群，也就是实际的一个 Java 项目。
• 任务（Job）：描述了需要被 PowerJob 调度的任务信息，包括任务名称、调度时间、处理器信息等。
  • frequentJob：
    • FIXED_RATE：固定频率任务，及根据任务的开始时间进行调度
    • FIXED_DELAY：固定延迟任务，及根据任务的结束时间进行调度
  • cronJob：CRON表达式任务
  • workflowJob：工作流任务
• 任务实例（ JobInstance，简称 Instance）：任务（Job）被调度执行后会生成任务实例（Instance），任务实例记录了任务的运行时信息（任务与任务实例的关系类似于类与对象的关系）。
• 作业（Task）：任务实例的执行单元，一个 JobInstance 存在至少一个 Task，具体规则如下：
  • 单机任务（STANDALONE）：一个 JobInstance 对应一个 Task
  • 广播任务（BROADCAST）：一个 JobInstance 对应 N 个 Task，N为集群机器数量，即每一台机器都会生成一个 Task
  • Map/MapReduce任务：一个 JobInstance 对应若干个 Task，由开发者手动 map 产生
• 工作流（Workflow）：由 DAG（有向无环图）描述的一组任务（Job），用于任务编排。
• 工作流实例（WorkflowInstance）：工作流被调度执行后会生成工作流实例，记录了工作流的运行时信息。

二、结构图

三、Server 执行流程分析

四、Worker 执行流程分析

五、MapReduce 原理

六、时间轮算法原理图

七、源码类解析：

服务端（Server）：

PowerJob调度中心，负责定时任务的调度、执行结果的存储、客户端状态存储等

• ServerActor：接收来自Worker的请求
  • 接收来自Worker的心跳上报请求
  • 接收来自Worker的任务实例状态上报请求
  • 接收来自Worker的日志上报请求
  • 接收来自Worker的容器部署请求（接收所有Worker获取容器信息和下载地址的请求）
  • 接收来自Worker master节点的获取所有Worker地址请求
• FriendActor：接收来自其它Server的请求
  • Worker节点服务注册时，如果负载到了非appId所在server节点，ServerSelectService会对appId所在节点进行Ping请求，以确保节点还存活
  • 管理页面查询Worker列表时，如果负载到了非appId所在server节点，会调用appId所在节点进行FriendQueryWorkerClusterStatusReq请求
  • 管理页面请求任务相关接口时，对加了@DesignateServer注解相关方法进行切面拦截，根据appId找到所在节点并进行转发该次请求
• OmsScheduleService：任务调度执行服务，每15秒执行一次
  • frequentJob：
    • 负责定时将未运行的任务启动（调用jobService.runJob），并调用JobService开始运行
    • 该类型任务只会由服务端发起一次调度，后续由Worker master节点进行调度
  • cronJob：
    • 找出即将需要执行（小于等于30秒内）的任务
    • 根据nextTriggerTime计算延迟执行秒数，放入时间轮，并异步执行
    • 计算下一次需要调度的时间nextTriggerTime
• JobService：
  • 负责管理页面上任务的增删改查
  • 负责手动运行和frequentJob的首次运行
• DispatchService：负责任务的派送（将任务从Server派发到Worker）
  • 获取所有Worker列表中，选择第一个为master节点，并进行任务的发送

客户端（Worker）：

• ServerDiscoveryService：服务发现：客户端向服务端注册本机地址
• TaskTrackerActor：客户端的master节点，负责接收服务端和子任务的各种请求
  • 负责接收服务端JobInstance发送的调度请求，并创建TaskTracker
  • 负责子任务的管理（状态的接收和子任务请求的接收）
• TaskTracker：负责处理TaskTrackerActor接收到的各种请求
  • 负责保存任务分片请求和子任务状态到H2数据库
  • FrequentTaskTracker：
    • 负责任务的启动发射（Launcher）
      • FIXED_RATE：根据配置的频率进行周期执行
      • FIXED_DELAY：只进行一次发送，后续Checker检测到完成后，再延迟执行下一次任务
    • 负责定时将H2数据库中的任务进行调度（Dispatcher），每2秒执行一次
    • 负责定时进行状态的检测（Checker），每5-15秒执行一次

我司对该源码参数进行了修改，将5s改成100ms，即100ms-15s执行一次，不然可能造成间隔5秒以内执行的任务完成时间大于预期

     - 如果检测到所有子任务已完成，则下发lastTask进行Reduce
     - 如果检测到lastTask已完成，则认为所有任务完成
     - 如果是FIXED_DELAY任务，则会延迟调度下一次任务
  - 负责新Worker上线的检测（WorkerDetector），每1分钟执行一次，并将新Worker地址加入到ProcessorTrackerStatusHolder中

• CommonTaskTracker：
  • 将root任务存储到H2数据库中
  • 负责定时进行状态检测（StatusCheckRunnable），默认每3秒执行一次
  • 负责新Worker上线的检测（WorkerDetector），每1分钟执行一次，并将新Worker地址加入到ProcessorTrackerStatusHolder中
  • 负责定时将H2数据库中的任务进行调度（Dispatcher），每2秒执行一次
• ProcessorTrackerActor：客户端的子节点，负责接收子任务执行请求和停止请求
• ProcessorTracker：负责子任务的执行和停止
  • 定时向 TaskTracker 汇报（携带任务执行信息的心跳）
  • 子任务线程池的管理
  • 子任务的异步执行ProcessorRunnable
• ProcessorTrackerStatusHolder：负责Worker子节点ProcessorTracker状态（地址）的管理
• 自定义MapProcessor子类：真正编写分片逻辑和任务执行代码的地方
• OmsContainerFactory：从Server获取java容器信息和下载容器

八、参考文章：

较真儿学源码系列-PowerJob时间轮源码分析-优快云博客
PowerJob官方文档：架构与原理