Apache DolphinScheduler 单机版安装与快速体验指南

Apache DolphinScheduler 单机版安装与快速体验指南

dolphinscheduler Dolphinscheduler是一个分布式调度系统,主要用于任务调度和流程编排。它的特点是易用性高、可扩展性强、性能稳定等。适用于任务调度和流程自动化场景。 dolphinscheduler 项目地址: https://gitcode.com/gh_mirrors/dol/dolphinscheduler

概述

Apache DolphinScheduler 是一个分布式易扩展的可视化工作流任务调度系统,而单机版(Standalone)是其最简化的部署模式,专为开发者快速体验系统功能而设计。本文将详细介绍如何从零开始部署和使用 DolphinScheduler 单机版。

单机版适用场景

单机版特别适合以下场景:

  • 初次接触 DolphinScheduler,想快速了解其基本功能
  • 开发环境下的功能验证
  • 小型工作流任务的测试运行(建议不超过20个工作流)

需要注意的是,单机版采用内存式H2数据库和Zookeeper测试服务器,存在以下限制:

  1. 任务量过大会导致系统不稳定
  2. 服务重启会导致内存数据库数据丢失
  3. 如需持久化存储,需配置外部数据库(MySQL/PostgreSQL)

环境准备

1. JDK安装配置

DolphinScheduler 需要JDK 1.8或11版本支持:

# 检查现有Java版本
java -version

# 如未安装,需下载并配置环境变量
export JAVA_HOME=/path/to/jdk
export PATH=$JAVA_HOME/bin:$PATH

2. 获取安装包

从官方渠道获取最新二进制包,建议选择与生产环境匹配的版本。

系统配置

1. 创建专用用户

为安全考虑,建议创建专用部署用户:

# 创建用户
useradd dolphinscheduler

# 设置密码
echo "dolphinscheduler" | passwd --stdin dolphinscheduler

# 配置sudo免密
echo 'dolphinscheduler ALL=(ALL) NOPASSWD: ALL' >> /etc/sudoers
sed -i 's/Defaults    requiretty/#Defaults    requiretty/g' /etc/sudoers

安全提示:生产环境中应使用更复杂的密码,并限制sudo权限范围。

2. 目录权限设置

chown -R dolphinscheduler:dolphinscheduler apache-dolphinscheduler-*-bin
chmod -R 755 apache-dolphinscheduler-*-bin

服务部署与启动

1. 解压安装包

tar -xvzf apache-dolphinscheduler-*-bin.tar.gz
cd apache-dolphinscheduler-*-bin

2. 启动服务

bash ./bin/dolphinscheduler-daemon.sh start standalone-server

启动成功后,可以通过以下命令检查状态:

bash ./bin/dolphinscheduler-daemon.sh status standalone-server

3. 访问Web UI

服务启动后,通过浏览器访问:

http://localhost:12345/dolphinscheduler/ui

默认登录凭证:

  • 用户名:admin
  • 密码:dolphinscheduler123

服务管理

完整的管理命令包括:

# 启动服务
bash ./bin/dolphinscheduler-daemon.sh start standalone-server

# 停止服务
bash ./bin/dolphinscheduler-daemon.sh stop standalone-server

# 查看状态
bash ./bin/dolphinscheduler-daemon.sh status standalone-server

高级配置

1. 元数据库配置

如需持久化存储,可切换至MySQL或PostgreSQL:

  1. 创建数据库并授权
  2. 修改conf/standalone-server/conf/application.yaml中的数据库配置
  3. 执行数据库初始化脚本

2. 资源中心配置

默认使用本地/tmp/dolphinscheduler目录,可通过修改conf/common.properties调整:

# 资源存储路径
resource.storage.type=HDFS
resource.hdfs.fs.defaultFS=hdfs://localhost:9000
resource.upload.path=/dolphinscheduler

3. Python网关服务

如需启用Python网关,修改api-server/conf/application.yaml:

python-gateway:
  enabled: true

常见问题排查

  1. 启动失败:检查JDK版本和JAVA_HOME配置
  2. 无法访问UI:确认防火墙是否开放12345端口
  3. 权限问题:确保部署用户有正确的sudo权限
  4. 数据丢失:单机版默认使用内存数据库,重要数据应配置外部数据库

后续建议

完成单机版体验后,如需进一步测试或生产部署,建议:

  1. 伪集群部署:模拟多节点环境
  2. 完整集群部署:生产环境推荐方案
  3. Kubernetes部署:云原生环境部署方案

通过本指南,您应该已经成功搭建了DolphinScheduler单机环境,可以开始探索其强大的工作流调度功能了。

dolphinscheduler Dolphinscheduler是一个分布式调度系统,主要用于任务调度和流程编排。它的特点是易用性高、可扩展性强、性能稳定等。适用于任务调度和流程自动化场景。 dolphinscheduler 项目地址: https://gitcode.com/gh_mirrors/dol/dolphinscheduler

创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

翁晔晨Jane

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值