Apache DolphinScheduler 基于 Rainbond 的高可用集群部署指南

Apache DolphinScheduler 基于 Rainbond 的高可用集群部署指南

dolphinscheduler Apache DolphinScheduler is the modern data orchestration platform. Agile to create high performance workflow with low-code 项目地址: https://gitcode.com/gh_mirrors/do/dolphinscheduler

前言

Apache DolphinScheduler 是一个分布式易扩展的可视化工作流任务调度系统，而 Rainbond 是一个开源的云原生应用管理平台。本文将详细介绍如何利用 Rainbond 平台快速部署高可用的 DolphinScheduler 集群，帮助用户简化 Kubernetes 环境下的部署流程。

部署准备

在开始部署前，需要确保以下条件已满足：

1. 已安装并配置好 Rainbond 云原生应用管理平台
2. 确保 Rainbond 平台能够正常访问 Kubernetes 集群
3. 准备足够的计算资源（CPU、内存）用于部署 DolphinScheduler 集群

部署步骤详解

第一步：从应用市场安装

1. 登录 Rainbond 管理控制台
2. 导航至"平台管理 > 应用市场 > 开源应用商店"
3. 在搜索框中输入"dolphinscheduler"进行搜索
4. 找到 DolphinScheduler 应用后点击"安装"按钮

第二步：配置安装参数

在安装页面需要配置以下关键参数：

• 团队名称：选择或创建工作空间，用于隔离不同环境
• 集群名称：选择目标 Kubernetes 集群
• 目标应用：选择或创建应用容器
• 应用版本：选择合适的 DolphinScheduler 版本

确认配置无误后点击"确定"开始部署。

第三步：等待部署完成

部署过程通常需要几分钟时间，Rainbond 会自动完成以下工作：

1. 拉取 DolphinScheduler 容器镜像
2. 创建必要的 Kubernetes 资源
3. 配置网络和服务发现
4. 启动各组件服务

部署完成后可以在应用视图中查看拓扑结构。

第四步：访问 DolphinScheduler

1. 在应用视图中找到 API 组件
2. 点击"访问"按钮获取访问地址
3. 使用默认凭据登录：
   • 用户名：admin
   • 密码：dolphinscheduler123

高可用配置

组件伸缩配置

DolphinScheduler 的各个组件都支持水平扩展：

1. API 服务：处理前端请求和API调用
2. Master 服务：负责任务调度和分发
3. Worker 服务：执行具体任务

以 Worker 服务为例，扩展步骤：

1. 进入 Worker 组件详情页
2. 点击"伸缩"选项卡
3. 设置所需的实例数量
4. 保存配置，系统会自动扩展实例

配置验证

扩展完成后，可以通过以下方式验证：

1. 登录 DolphinScheduler UI
2. 进入"监控中心 > Worker"
3. 查看所有 Worker 节点的状态信息

高级配置

配置文件管理

DolphinScheduler 的关键配置文件位于： /opt/dolphinscheduler/conf/common.properties

修改配置时只需在 API 服务组件中进行修改，修改后需要重启服务使配置生效。

Python 3 支持

Worker 服务默认已安装 Python 3，使用时需要添加环境变量： PYTHON_LAUNCHER=/usr/bin/python3

大数据组件集成

以集成 DataX 为例：

1. 安装初始化插件：

   • 在 Rainbond 团队视图中找到"插件"管理
   • 搜索并安装"通用数据初始化插件"

2. 配置插件：

   • 在 Worker 组件中启用该插件
   • 配置以下参数：
     • FILE_URL：DataX 下载地址
     • FILE_PATH：安装目录（建议/opt/soft）
     • LOCK_PATH：锁文件目录

3. 更新组件：

   • 保存配置后更新组件
   • 插件会自动下载并安装 DataX

最佳实践建议

1. 生产环境部署：

   • 建议 API、Master、Worker 都至少部署2个实例
   • 配置适当的资源限制和请求

2. 监控告警：

   • 配置 Rainbond 的监控告警功能
   • 监控关键指标如任务队列长度、执行成功率等

3. 数据持久化：

   • 确保数据库连接配置正确
   • 考虑使用外部数据库提高可靠性

4. 版本升级：

   • 先在测试环境验证新版本
   • 通过 Rainbond 的应用备份功能做好备份

常见问题处理

1. 部署失败：

   • 检查资源配额是否充足
   • 查看组件日志定位具体问题

2. 服务不可用：

   • 验证网络连接
   • 检查依赖服务（如数据库）是否正常

3. 性能问题：

   • 适当增加 Worker 数量
   • 调整任务队列配置

通过 Rainbond 部署 DolphinScheduler 集群，用户可以获得开箱即用的高可用方案，大大降低了在 Kubernetes 环境中部署和管理分布式系统的复杂度。

dolphinscheduler Apache DolphinScheduler is the modern data orchestration platform. Agile to create high performance workflow with low-code 项目地址: https://gitcode.com/gh_mirrors/do/dolphinscheduler