Docker一键部署Apache DolphinScheduler：数据工作流引擎快速实践
项目地址: https://gitcode.com/gh_mirrors/do/dolphinscheduler 引言：数据工作流的部署困境与解决方案
你是否还在为数据工作流引擎的复杂部署流程而困扰？面对ZooKeeper、PostgreSQL等依赖组件的配置，以及各种环境变量的调优，往往需要耗费数小时甚至数天的时间。本文将带你通过Docker Compose实现Apache DolphinScheduler（数据工作流调度引擎）的一键部署，从环境准备到完整集群启动，全程不超过10分钟。读完本文后，你将掌握：
- Docker环境下的DolphinScheduler集群部署技巧
- 核心组件的容器化架构与通信机制
- 部署后的系统验证与基础操作
- 常见问题的诊断与解决方案
技术架构：容器化部署的底层逻辑
Apache DolphinScheduler采用微服务架构设计，通过Docker容器化部署时，各核心组件被封装为独立容器，通过Docker网络实现通信。以下是容器化部署的架构流程图：
核心组件说明：
| 容器名称 | 功能描述 | 关键端口 | 依赖关系 |
|---|---|---|---|
| dolphinscheduler-postgresql | 元数据存储 | 5432 | 无 |
| dolphinscheduler-zookeeper | 服务协调与注册 | 2181 | 无 |
| dolphinscheduler-api | 核心API服务 | 12345/25333 | 依赖ZK+DB |
| dolphinscheduler-master | 工作流调度核心 | 无暴露端口 | 依赖ZK+API |
| dolphinscheduler-worker | 任务执行节点 | 无暴露端口 | 依赖ZK+MASTER |
| dolphinscheduler-alert | 告警通知服务 | 50053 | 依赖ZK |
部署准备：环境与工具要求
系统环境要求
- 操作系统：Linux/Unix（推荐Ubuntu 20.04+或CentOS 7+）
- Docker版本：20.10.0+
- Docker Compose版本：v2.0.0+
- 硬件配置：至少2核4GB内存（生产环境建议4核8GB起）
- 网络要求：可访问标准镜像仓库或私有镜像仓库
环境验证命令
# 验证Docker是否安装
docker --version && docker-compose --version
# 验证网络连通性
ping -c 3 docker.io
部署步骤：从0到1的实现过程
步骤1：获取部署文件
通过Git克隆项目仓库到本地：
git clone https://gitcode.com/gh_mirrors/do/dolphinscheduler.git
cd dolphinscheduler/deploy/docker
步骤2：配置环境变量
创建.env文件，配置镜像仓库和版本信息：
# 编辑环境变量文件
cat > .env << EOF
HUB=apache/dolphinscheduler
TAG=latest
EOF
步骤3：初始化数据库（首次部署）
# 创建数据库并初始化Schema
docker-compose --profile schema up -d
执行流程：
- 启动PostgreSQL容器并创建数据库
- 运行schema-initializer容器执行SQL脚本
- 初始化完成后自动退出（正常现象）
步骤4：启动完整集群
# 启动所有服务组件
docker-compose --profile all up -d
启动顺序：
步骤5：验证部署结果
容器状态检查
# 查看所有运行中的容器
docker-compose ps
# 检查服务健康状态
docker-compose exec dolphinscheduler-api curl http://localhost:12345/dolphinscheduler/actuator/health
预期输出：
{
"status": "UP",
"components": {
"diskSpace": {"status": "UP"},
"db": {"status": "UP"},
"zookeeper": {"status": "UP"}
}
}
Web UI访问验证
打开浏览器访问：http://部署服务器IP:12345，使用默认账号密码登录：
- 用户名：admin
- 密码：dolphinscheduler123
登录成功后，可看到如下界面结构：
实战操作：创建第一个工作流
步骤1：创建数据源连接
- 进入"数据源管理"页面，点击"新建数据源"
- 选择数据库类型（如MySQL），填写连接信息：
数据源名称: demo_mysql 连接类型: JDBC JDBC URL: jdbc:mysql://mysql-host:3306/demo_db 用户名: root 密码: password - 点击"测试连接"，验证通过后保存
步骤2：定义Shell任务工作流
- 进入"工作流定义"页面，点击"创建工作流"
- 从左侧组件栏拖拽"Shell"任务到画布
- 双击任务节点，配置脚本内容：
#!/bin/bash echo "当前时间: $(date)" echo "DolphinScheduler容器化部署成功!" > /tmp/success.log - 点击"保存"并命名为"测试工作流"
步骤3：运行与监控工作流
- 点击工作流定义后的"运行"按钮
- 在弹出窗口中选择"立即运行"，点击"确定"
- 进入"工作流实例"页面，查看运行状态
- 点击实例ID，可查看任务执行日志：
[INFO] 2025-09-14 10:00:00.123 - Task started [INFO] 2025-09-14 10:00:00.125 - Executing shell script [INFO] 2025-09-14 10:00:00.130 - 当前时间: 2025-09-14 10:00:00 [INFO] 2025-09-14 10:00:00.132 - Task completed successfully
高级配置：性能优化与定制化
资源限制调整
编辑docker-compose.yml，为各组件添加资源限制：
services:
dolphinscheduler-master:
deploy:
resources:
limits:
cpus: '2'
memory: 2G
reservations:
cpus: '1'
memory: 1G
持久化存储配置
默认配置已包含数据持久化，但可根据需求调整挂载路径：
volumes:
dolphinscheduler-postgresql:
driver: local
driver_opts:
type: 'none'
o: 'bind'
device: '/自定义路径/postgresql'
环境变量定制
通过修改.env文件调整关键配置：
# 服务端口调整
API_PORT=12345
# 时区设置
TZ=Asia/Shanghai
# 资源存储类型
RESOURCE_STORAGE_TYPE=HDFS
# 告警配置
ALERT_EMAIL_SERVER_HOST=smtp.example.com
问题诊断：常见故障处理指南
服务启动失败
现象：API服务反复重启或健康检查失败
排查步骤：
# 查看详细日志
docker-compose logs -f dolphinscheduler-api
# 检查数据库连接
docker-compose exec dolphinscheduler-api \
cat /opt/dolphinscheduler/logs/api-server.log | grep -i "database connection"
常见原因与解决方案：
| 错误信息 | 可能原因 | 解决方案 |
|---|---|---|
| Connection refused (postgres) | 数据库未启动或网络不通 | 检查postgresql容器状态 |
| Access denied for user | 数据库账号密码错误 | 核对.env文件中的数据库配置 |
| Table 't_ds_version' doesn't exist | Schema未初始化 | 重新执行schema初始化步骤 |
任务执行失败
现象：Worker任务状态显示"失败"
排查流程：
- 进入"任务实例"页面，点击任务ID查看日志
- 若日志显示"文件不存在"，检查：
- 资源文件是否正确上传到资源中心
- 任务引用的文件路径是否正确
- 若显示"权限不足"，执行：
# 调整资源目录权限 docker-compose exec dolphinscheduler-worker \ chmod -R 755 /dolphinscheduler
网络访问问题
现象：Web UI无法访问
排查命令：
# 检查端口映射
docker-compose port dolphinscheduler-api 12345
# 检查防火墙规则
sudo ufw status | grep 12345
# 添加防火墙允许规则
sudo ufw allow 12345/tcp
总结与进阶方向
通过Docker Compose部署Apache DolphinScheduler，我们实现了：
- 简化部署流程：从复杂的多组件配置简化为命令行操作
- 环境一致性：容器化确保开发、测试与生产环境一致
- 快速扩缩容：通过调整Worker数量实现计算能力弹性扩展
进阶学习路径：
-
高可用部署：
- 增加Master节点实现调度高可用
- 配置PostgreSQL主从复制
- 使用分布式存储替代本地卷
-
性能优化：
- 调整JVM参数优化内存使用
- 配置任务线程池参数
- 实现Worker分组管理
-
集成扩展：
- 对接LDAP/AD实现统一认证
- 集成Prometheus+Grafana监控
- 开发自定义任务插件
附录：常用操作命令速查表
# 查看服务状态
docker-compose --profile all ps
# 查看日志（API服务）
docker-compose logs -f dolphinscheduler-api
# 进入容器内部
docker-compose exec dolphinscheduler-api bash
# 停止所有服务
docker-compose --profile all down
# 查看资源使用情况
docker stats $(docker-compose ps -q)
注意：生产环境部署时，建议：
- 修改默认账号密码
- 配置SSL加密传输
- 定期备份PostgreSQL数据卷
- 监控系统资源使用情况
通过本文的部署指南，你已经掌握了DolphinScheduler的容器化部署方法。这个强大的数据工作流引擎将帮助你轻松实现复杂任务的调度与管理，从手动脚本执行迈入自动化调度的新阶段。
创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
