Apache DolphinScheduler 单机版安装与快速体验指南
概述
Apache DolphinScheduler 是一个分布式易扩展的可视化工作流任务调度系统,而单机版(Standalone)是其最简化的部署模式,专为开发者快速体验系统功能而设计。本文将详细介绍如何从零开始部署和使用 DolphinScheduler 单机版。
单机版适用场景
单机版特别适合以下场景:
- 初次接触 DolphinScheduler,想快速了解其基本功能
- 开发环境下的功能验证
- 小型工作流任务的测试运行(建议不超过20个工作流)
需要注意的是,单机版采用内存式H2数据库和Zookeeper测试服务器,存在以下限制:
- 任务量过大会导致系统不稳定
- 服务重启会导致内存数据库数据丢失
- 如需持久化存储,需配置外部数据库(MySQL/PostgreSQL)
环境准备
1. JDK安装配置
DolphinScheduler 需要JDK 1.8或11版本支持:
# 检查现有Java版本
java -version
# 如未安装,需下载并配置环境变量
export JAVA_HOME=/path/to/jdk
export PATH=$JAVA_HOME/bin:$PATH
2. 获取安装包
从官方渠道获取最新二进制包,建议选择与生产环境匹配的版本。
系统配置
1. 创建专用用户
为安全考虑,建议创建专用部署用户:
# 创建用户
useradd dolphinscheduler
# 设置密码
echo "dolphinscheduler" | passwd --stdin dolphinscheduler
# 配置sudo免密
echo 'dolphinscheduler ALL=(ALL) NOPASSWD: ALL' >> /etc/sudoers
sed -i 's/Defaults requiretty/#Defaults requiretty/g' /etc/sudoers
安全提示:生产环境中应使用更复杂的密码,并限制sudo权限范围。
2. 目录权限设置
chown -R dolphinscheduler:dolphinscheduler apache-dolphinscheduler-*-bin
chmod -R 755 apache-dolphinscheduler-*-bin
服务部署与启动
1. 解压安装包
tar -xvzf apache-dolphinscheduler-*-bin.tar.gz
cd apache-dolphinscheduler-*-bin
2. 启动服务
bash ./bin/dolphinscheduler-daemon.sh start standalone-server
启动成功后,可以通过以下命令检查状态:
bash ./bin/dolphinscheduler-daemon.sh status standalone-server
3. 访问Web UI
服务启动后,通过浏览器访问:
http://localhost:12345/dolphinscheduler/ui
默认登录凭证:
- 用户名:admin
- 密码:dolphinscheduler123
服务管理
完整的管理命令包括:
# 启动服务
bash ./bin/dolphinscheduler-daemon.sh start standalone-server
# 停止服务
bash ./bin/dolphinscheduler-daemon.sh stop standalone-server
# 查看状态
bash ./bin/dolphinscheduler-daemon.sh status standalone-server
高级配置
1. 元数据库配置
如需持久化存储,可切换至MySQL或PostgreSQL:
- 创建数据库并授权
- 修改conf/standalone-server/conf/application.yaml中的数据库配置
- 执行数据库初始化脚本
2. 资源中心配置
默认使用本地/tmp/dolphinscheduler目录,可通过修改conf/common.properties调整:
# 资源存储路径
resource.storage.type=HDFS
resource.hdfs.fs.defaultFS=hdfs://localhost:9000
resource.upload.path=/dolphinscheduler
3. Python网关服务
如需启用Python网关,修改api-server/conf/application.yaml:
python-gateway:
enabled: true
常见问题排查
- 启动失败:检查JDK版本和JAVA_HOME配置
- 无法访问UI:确认防火墙是否开放12345端口
- 权限问题:确保部署用户有正确的sudo权限
- 数据丢失:单机版默认使用内存数据库,重要数据应配置外部数据库
后续建议
完成单机版体验后,如需进一步测试或生产部署,建议:
- 伪集群部署:模拟多节点环境
- 完整集群部署:生产环境推荐方案
- Kubernetes部署:云原生环境部署方案
通过本指南,您应该已经成功搭建了DolphinScheduler单机环境,可以开始探索其强大的工作流调度功能了。
创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考