大数据调度组件之Apache DolphinScheduler

Apache DolphinScheduler 是一个分布式易扩展的可视化 DAG 工作流任务调度系统。致力于解决数据处理流程中错综复杂的依赖关系，使调度系统在数据处理流程中开箱即用。

主要特性

• 易于部署，提供四种部署方式，包括Standalone、Cluster、Docker和Kubernetes
• 易于使用，可以通过四种方式创建和管理工作流，包括Web UI、Python SDK和Open API
• 高可靠高可用，多主多从的去中心化架构，原生支持横向扩展
• 高性能，性能比其他编排平台快N倍，每天可支持千万级任务
• Cloud Native，DolphinScheduler支持编排多云/数据中心工作流，支持自定义任务类型
• 对工作流和工作流实例（包括任务）进行版本控制
• 工作流和任务的多种状态控制，支持随时暂停/停止/恢复它们
• 多租户支持
• 其他如补数支持（Web UI 原生），包括项目和数据源的权限控制

单节点部署

安装包下载

• JDK：下载JDK (1.8+)，安装并配置 JAVA_HOME 环境变量，并将其下的 bin 目录追加到 PATH 环境变量中。如果你的环境中已存在，可以跳过这步。
• 二进制包：在下载页面下载 DolphinScheduler 二进制包

解压并启动 DolphinScheduler

二进制压缩包中有 Standalone 启动的脚本，解压后即可快速启动。

切换到有sudo权限的用户，运行脚本:

# 解压并运行 Standalone Server
tar -xvzf apache-dolphinscheduler-*-bin.tar.gz
cd apache-dolphinscheduler-*-bin
bash ./bin/dolphinscheduler-daemon.sh start standalone-server

登录 DolphinScheduler

浏览器访问地址 http://localhost:12345/dolphinscheduler/ui 即可登录系统UI。

默认的用户名和密码是 admin/dolphinscheduler123

启停服务

脚本 ./bin/dolphinscheduler-daemon.sh 除了可以快捷启动 standalone 外，还能停止服务运行，全部命令如下

# 启动 Standalone Server 服务
bash ./bin/dolphinscheduler-daemon.sh start standalone-server
# 停止 Standalone Server 服务
bash ./bin/dolphinscheduler-daemon.sh stop standalone-server

配置数据库

Standalone server 使用 H2 数据库作为其元数据存储数据，这是为了上手简单，用户在启动服务器之前不需要启动数据库。

但是如果用户想将元数据库存储在 MySQL 或 PostgreSQL 等其他数据库中，他们必须更改一些配置。

请参考 数据源配置 Standalone 切换元数据库 创建并初始化数据库

伪集群部署

安装包下载

伪分布式部署 Apache DolphinScheduler 需要有外部软件的支持

• JDK：下载JDK (1.8+)，安装并配置 JAVA_HOME 环境变量，并将其下的 bin 目录追加到 PATH 环境变量中。如果你的环境中已存在，可以跳过这步。
• 二进制包：在下载页面下载 DolphinScheduler 二进制包
• 数据库：PostgreSQL (8.2.15+) 或者 MySQL (5.7+)，两者任选其一即可，如 MySQL 则需要 JDBC Driver 8.0.16
• 注册中心：ZooKeeper (3.4.6+)，下载地址
• 进程树分析
  • macOS安装pstree
  • Fedora/Red/Hat/CentOS/Ubuntu/