Apache Dolphinscheduler Standalone 部署教程

Standalone 仅适用于 DolphinScheduler 的快速体验.

如果你是新手,想要体验 DolphinScheduler 的功能,推荐使用Standalone方式体检。

如果你想体验更完整的功能,或者更大的任务量,推荐使用伪集群部署。如果你是在生产中使用,推荐使用集群部署或者kubernetes。

前置准备工作

  • JDK:下载JDK (1.8+),安装并配置 JAVA_HOME 环境变量,并将其下的 bin 目录追加到 PATH 环境变量中。如果你的环境中已存在,可以跳过这步。

  • 二进制包:在下载页面下载 DolphinScheduler 二进制包(本机3.19版本)

Standalone 元数据持久化

Standalone 仅建议 20 个以下工作流使用,因为其采用内存式的 H2 Database, Zookeeper Testing Server,任务过多可能导致不稳定,并且如果重启或者停止 standalone-server 会导致内存中数据库里的数据清空。

Standalone 支持元数据持久化,但是需要使用外部数据库,如 mysql 或者 postgresql

下载mysql驱动并放到对应libs目录中

如果使用 MySQL 需要手动下载 mysql-connector-java 驱动 (8.0.16) 并移动到 DolphinScheduler 的每个模块的 libs 目录下,其中包括 api-server/libsalert-server/libsmaster-server/libsworker-s

<think> 首先,用户的问题是:“我想获取关于dolphinscheduler-standalone-server的相关信息,可能是使用指南、安装方法、功能介绍等”,具体询问使用、安装、功能等相关信息。 用户提供了几个引用: - 引用[1]: 讨论DolphinScheduler standalone安装,包括官方文档链接和具体安装步骤。 - 引用[2]: 说明Standalone部署适用于快速体验,不适合生产。 - 引用[3]: 描述数据库初始化和启动步骤。 - 引用[4]: 给出Docker安装DolphinScheduler的步骤。 - 引用[5]: 涉及使用PostgreSQL和ZooKeeper启动镜像的功能描述。 系统指令要求: - 所有行内数学表达式用$...$格式(但在这个上下文中,可能很少需要数学表达式,除非涉及算法)。 - 独立公式用$$...$$并单独成段。 - LaTeX语法正确。 - 使用中文回答。 - 生成相关问题。 - 引用的段落末尾添加引用标识,例如[^1]。 - 回答结构清晰,帮助用户逐步解决问题。 - 保证回答真实可靠。 用户可见层的指令: - 回答结构清晰,逐步解决问题。 - 尽量保证真实可靠。 我的回答需要涵盖: 1. **安装方法**:包括两种方式:直接安装(如引用[1]和[3])和Docker安装(引用[4])。 2. **使用指南**:如何初始化数据库、启动服务等。 3. **功能介绍**:Standalone模式的目的、适用场景(如引用[2]和[5]),以及核心功能(任务调度、监控等)。 结构化回答: - 从概述开始:介绍DolphinSchedulerStandalone模式。 - 然后分节讨论: - 安装方法 - 使用步骤 - 功能介绍 - 适用场景 - 最后生成相关问题。 确保参考引用: - 在相关内容末尾添加引用标识,如[^1]。 由于用户请求的信息基于提供的引用,我需要整合这些信息: - 引用[1],[2],[3]覆盖安装和快速体验。 - 引用[4]覆盖Docker安装。 - 引用[5]覆盖功能描述。 添加引用标识: - 例如,提到安装步骤时,引用[1];提到快速体验时,引用[2];等等。 生成相关问题: - 在回答末尾,列出2-3个相关问题。 中文回答: - 整个回答用中文。 可能的数学表达式: - 在这个主题中,不太可能涉及数学,但如果有,比如讨论任务依赖图(DAG),可以简单提及图论概念,使用LaTeX格式。例如,$DAG$表示有向无环图。 最终回答结构: 1. **概述** 2. **安装方法** - 直接安装 - Docker安装 3. **使用指南** - 初始化数据库 - 启动服务 4. **功能介绍** 5. **适用场景** 6. **相关问题** </think> ### DolphinScheduler Standalone Server 相关信息 DolphinScheduler 是一个开源的分布式大数据任务调度系统,其 Standalone 模式专为快速体验和测试设计,适用于新手或小规模任务验证,不适合生产环境使用[^2]。以下基于您提供的引用,整合官方文档和实战经验,详细介绍安装方法、使用指南和核心功能。回答结构清晰,确保内容真实可靠。 --- ### 1. 安装方法 DolphinScheduler Standalone Server 支持两种部署方式:**本地安装**和 **Docker 部署**。 #### (1) 本地安装(以 Linux 系统为例) - **步骤 1: 下载和解压** 从 Apache 官网下载最新版本(如 3.1.3),解压到指定目录(如 `/home`)。 ```bash wget https://downloads.apache.org/dolphinscheduler/3.1.3/apache-dolphinscheduler-3.1.3-bin.tar.gz tar -zxvf apache-dolphinscheduler-3.1.3-bin.tar.gz -C /home ``` - **步骤 2: 依赖准备** 确保系统已安装 JDK 8+ 和数据库(推荐 MySQL 或 PostgreSQL)。 - **步骤 3: 初始化数据库** 创建新数据库(如 `dolphinscheduler`),运行脚本初始化表结构[^3]: ```bash cd /home/apache-dolphinscheduler-3.1.3-bin bash tools/bin/upgrade-schema.sh ``` - **步骤 4: 配置环境** 编辑 `conf/dolphinscheduler_env.sh`,设置数据库连接参数: ```bash export DATABASE=mysql export SPRING_DATASOURCE_URL="jdbc:mysql://localhost:3306/dolphinscheduler?useUnicode=true&characterEncoding=UTF-8" export SPRING_DATASOURCE_USERNAME=root export SPRING_DATASOURCE_PASSWORD=password ``` - **步骤 5: 启动服务** 执行启动脚本: ```bash bash bin/dolphinscheduler-daemon.sh start standalone-server ``` 服务默认运行在 `http://localhost:12345`,可通过浏览器访问 Web UI[^1]。 #### (2) Docker 部署(推荐快速上手) - **步骤 1: 拉取镜像并启动容器** 使用官方 Docker 镜像启动服务: ```bash docker run --name dolphinscheduler-standalone-server -p 12345:12345 -d apache/dolphinscheduler-standalone-server:3.2.2 ``` - **步骤 2: 添加数据库驱动** 如需使用 MySQL,复制驱动到容器: ```bash docker cp mysql-connector-java-8.0.30.jar dolphinscheduler-standalone-server:/opt/dolphinscheduler/libs/standalone-server/ ``` - **步骤 3: 配置数据库连接** 修改环境变量文件: ```bash docker exec -it dolphinscheduler-standalone-server /bin/bash tee -a /opt/dolphinscheduler/conf/dolphinscheduler_env.sh <<-'EOF' export DATABASE=mysql export SPRING_DATASOURCE_URL="jdbc:mysql://host_ip:3306/dolphinscheduler?useUnicode=true&characterEncoding=UTF-8" export SPRING_DATASOURCE_USERNAME={user} export SPRING_DATASOURCE_PASSWORD={password} EOF ``` - **步骤 4: 初始化数据库** 运行初始化脚本: ```bash bash tools/bin/upgrade-schema.sh ``` 重启容器后生效[^4]。 --- ### 2. 使用指南 启动后,访问 `http://localhost:12345`(默认账号:`admin`,密码:`dolphinscheduler123`)。 - **核心操作**: - **创建工作流**:通过 Web UI 定义任务依赖关系(如 Shell、SQL 或 Python 任务)。 - **任务调度**:设置触发器(如 cron 表达式)自动执行任务链。 - **监控与恢复**:实时查看任务状态,支持失败重试、节点恢复和暂停/终止操作[^5]。 - **初始化后步骤**: - 添加数据源(如 MySQL 或 HDFS)以连接外部系统。 - 创建租户和用户以实现资源隔离。 --- ### 3. 功能介绍 DolphinScheduler Standalone Server 的核心功能聚焦于简化任务编排: - **任务依赖管理**:使用 $DAG$(有向无环图)组装任务流,解决复杂 ETL 依赖问题[^5]。 - **状态监控**:实时跟踪任务执行状态,包括成功率、耗时和日志输出。 - **容错机制**:支持任务重试、指定节点恢复失败任务,提升系统鲁棒性。 - **轻量级设计**:Standalone 模式集成所有组件(如调度器和报警器),无需额外依赖 ZooKeeper[^2]。 --- ### 4. 适用场景与限制 - **推荐场景**:新手功能体验、开发环境调试或小规模任务测试(如数据处理 Pipeline 验证)。 - **不推荐场景**:生产环境或高并发任务(性能受限),建议改用伪集群或 Kubernetes 部署[^2]。 - **优势**:快速部署(几分钟即可运行),资源占用较低。 - **局限**:不支持高可用(HA),单点故障风险较高。 如需进一步了解,请参考官方文档:[DolphinScheduler Standalone Guide](https://dolphinscheduler.apache.org/en-us/docs/3.1.3/guide/installation/standalone)。 --- ### 相关问题 1. 如何将 DolphinScheduler Standalone 升级为集群模式? 2. DolphinScheduler 在任务失败时支持哪些恢复策略? 3. 如何优化 DolphinScheduler 的性能以适应更大规模任务? [^1]: dolphinscheduler standalone安装。官方文档:https://dolphinscheduler.apache.org/en-us/docs/3.1.3/guide/installation/standalone [^2]: DolphinScheduler 实战:使用 Standalone 单机部署 DolphinScheduler。 [^3]: Apache Dolphinscheduler Standalone 部署教程。 [^4]: docker 安装dolphinscheduler。 [^5]: Apache DolphinScheduler 旨在解决复杂的大数据任务依赖关系。
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

DolphinScheduler社区

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值