Apache DolphinScheduler + OceanBase，搭建分布式大数据调度平台的实践

本文整理自白鲸开源联合创始人，Apache DolphinScheduler PMC Chair，Apache Foundation Member 代立冬的演讲。主要介绍了DolphinScheduler及其架构、DolphinScheduler与OceanBase 的联合大数据方案。

DolphinScheduler是什么？

Apache DolphinScheduler，作为一款云原生且配备强大的可视化界面的大数据工作流调度平台，可帮助用户简化数据工作流的编排过程，通过高效解决复杂大数据任务间的依赖与触发难题，确保各类大数据任务能够即插即用，融入各类数据分析与数据挖掘场景中，提供全流程可视化操作能力。

目前，已有超过6000家公司在其生产环境中成功部署并应用了Apache DolphinScheduler。

Apache DolphinScheduler 调度平台具备简单易用、架构设计上保证系统高可靠性、高扩展性和云原生能力，拥有丰富的使用场景。

• 高可靠性
  • 架构设计上，去中心化的多 Master 和多 Worker , 具备高可用能力。
  • 采用任务队列避免过载，不会造成机器卡死。
• 简单易用
  • 拥有一键部署能力，简化部署，易维护。
  • 可视化界面，所有流程定义都是可视化，通过拖拽任务形成工作流模板。
  • 支持 Open API 、Python 方式与第三方系统对接。
• ·高扩展性、云原生能力
  • 支持自定义任务类型。
  • 调度能力随集群线性增长。
  • 弹性伸缩， Master 和 Worker 支持动态上下线。
• 丰富的使用场景
  • 支持暂停恢复及停止等丰富操作。
  • 支持多租户，权限管理等大数据应用场景。
  • 支持 30+ 种任务类型，如 Spark, Flink，Hive, MR, Python, Shell 等。

从 Apache DolphinScheduler 调度平台界面能够看出来，DolphinScheduler 会实时关注任务运行状态，同