dolphinscheduler核心流程

概况

​ 因为最近公司，要计划做数据中台，而我们要负责做一个 数据开发这一部分，主要功能是将数据加工，因为产品要加入一些业务上定制化的东西，所以目前是将dolphinscheduler进行一个二次开发。下面我会分享dolphinscheduler的整体架构，和一个核心流程。

下面主要会分为三部分：

1 主要架构

2 代码结构

3 任务执行过程的核心流程

版本：

Dolphinscheduler-1.3.8-release

主要架构

上图是从官网直接copy过来，是ds的架构图，ds的架构我觉得主要的几点是：

1 master,worker,api 主要运行时容器是 spring boot

2 服务间的主要通信是通过netty完成的

3 分布式调度，主要是用zk的选举策略

代码结构

1 Alert

提供告警支持，目前应该只实现了邮件和企业微信该服务是以 在线程内不断遍历数据库，获取待告警的信息驱动的

2 Api

给界面提供接口，是一个spring boot服务

3 Common

抽取出一些功能配置

4 Dao

数据库的操作

5 Dist

一些打包配置

6 Plugin-api

告警插件接口，实体等

7 Remote

Netty 的客户端，服务端，编解码器，handler等 , woker, master, api服务都会用到

8 Server

Master 和 worker 服务，是spring boot应用 和 内部启动了一个netty server

9 Service

抽象了一些公共服务，如日志，权限，zk操作等

10 UI

前端页面

任务执行过程的核心流程

我们来从 界面上 点击 执行按钮 开始分析, 其中会经过 api server — master server – workder server

主要调用链路是：

Api server —>

ExecutorController.startProcessInstance()

—execService.execProcessInstance

—this.createCommand()

— processService.createCommand(command);

— result = commandMapper.insert(command);

1 界面上点击执行按钮，会调用 exectorController 的 startProcessInstance 方法

2 该方法主要的功能是根据 project 配置，初始化出command 插入数据库

MasterServer—>

this.masterSchedulerService.start();—>

Command command = processService.findOneCommand();—>

ProcessInstance processInstance = processService.handleCommand---->

masterExecService.execute(new MasterExecThread());—>

executeProcess();-

1 masterServer初始化的时候，会初始化 masterSchedulerService

2 masterSchedulerService 会不断从数据库 遍历 api server 存进来的 command

3 然后给 masterExecService executeProcess() 进行调度

其中

executeProcess() 有三个子方法，prepareProcess，runProcess, endProcess

1 其中 prepareProcess构建DAG 流程图和初始化一系列队列

2 运行DAG流程图， 将DAG里的task 分发到 worker节点

3 EndProcess(); 更新流程完成状态，发送告警通知等

runProcess主要做了 将 DAG里面的队列 放到 readyToSubmitTaskQueue 队列，然后放到

TaskPriorityQueue，TaskPriorityQueue 队列 会由TaskPriorityQueueConsumer不断消费使用netty发送给 worker

wokerServer
1 初始化 nettyServer,接到 master发来的 command之后，主要处理命令的类 在 NettyServerHandler----

2 如果是流程图的任务就会是 由 TaskExecuteProcessor.process()

3 process 会调用 TaskExecuteThread -->task.handle()