dolphinscheduler 记录

本文档详细介绍了如何使用Docker Swarm部署Apache DolphinScheduler,包括解压源码、下载Docker镜像、构建Dockerfile以及启动服务的步骤。此外,还探讨了在 Helm K8s 部署中遇到的元数据MySQL存储问题,以及解决方法。文章还深入解析了DolphinScheduler的时间参数配置,包括用户自定义参数、时间计算函数等,并给出了具体的示例。最后,提供了与Flink的集成指南和DolphinScheduler的官方文档链接。

在这里插入图片描述

### ds源码
tar -zxvf apache-dolphinscheduler-2.0.5-src.tar.gz
cd apache-dolphinscheduler-2.0.5-src/docker/docker-swarm
### 下载ds镜像
docker pull dolphinscheduler.docker.scarf.sh/apache/dolphinscheduler:latest
docker-compose up -d
dockerfile
FROM dolphinscheduler.docker.scarf.sh/apache/dolphinscheduler:latest
ADD mysql-connector-java-8.0.28.jar /opt/dolphinscheduler/lib


#####
docker build -f dockerfile -t dolpinscheduler:mysql .
docker run -d --name dolphinscheduler -e DATABASE_HOST="172.16.34.122" -e DATABASE_PORT="3306" -e DATABASE_DATABASE="dolphinscheduler" -e DATABASE_USERNAME="root" -e DATABASE_PASSWORD="123456" -e ZOOKEEPER_QUORUM="172.16.34.121:2181"  --env-file config.env.sh  -p 12345:12345 dolphinscheduler:mysql all

在这里插入图片描述
admin / dolphinscheduler123

apache dolpinsheduler 定时配置

在这里插入图片描述
编辑定时
在这里插入图片描述
在这里插入图片描述

在这里插入图片描述

DolphinScheduler 是一个分布式、易扩展的开源任务调度平台,广泛应用于大数据生态系统的任务编排与调度场景。对于希望了解或使用 DolphinScheduler 的用户来说,掌握其基本配置和部署流程是开始实践的第一步。 ### 部署环境要求 在部署 DolphinScheduler 之前,需要准备好以下基础环境: - **JDK**:DolphinScheduler 使用 Java 编写,因此需要安装 JDK 环境(推荐版本为 1.8 或更高)。 - **ZooKeeper**:用于实现 DolphinScheduler 的高可用性特性,确保服务发现和协调一致性。 - **数据库**:支持 MySQL 和 PostgreSQL,用来存储元数据信息,如工作流定义、执行记录等。 - **操作系统**:建议使用 Linux 操作系统,Windows 可以通过 Docker 方式运行[^1]。 ### 集群部署步骤 DolphinScheduler 支持多种部署模式,包括单机模式和集群模式。以下是基于集群模式的基本部署步骤: 1. 下载并解压 DolphinScheduler 的二进制包到所有节点上。 2. 根据实际需求修改 `conf` 目录下的配置文件,特别是数据库连接信息、ZooKeeper 地址等关键参数。 3. 初始化数据库表结构,并启动 ZooKeeper 服务。 4. 在主节点上启动 MasterServer 服务,在从节点上启动 WorkerServer 服务。 5. 启动前端服务,访问 Web UI 进行可视化操作[^1]。 ### 使用指南 一旦完成部署,可以通过 Web 界面进行项目管理、流程设计以及监控查看等功能。具体包括但不限于: - 创建新的项目,并导入或新建工作流定义。 - 设计 DAG 图形化界面来组织任务依赖关系。 - 设置定时触发器或者手动触发任务实例。 - 查看任务日志和状态更新,及时处理异常情况[^1]。 ### 官方文档资源 官方文档提供了详尽的信息关于如何安装、配置及使用 DolphinScheduler。它不仅涵盖了上述提到的基础内容,还深入探讨了高级特性和最佳实践案例,例如云原生架构的支持、跨集群任务分发机制等[^2]。访问 [DolphinScheduler 官方网站](https://dolphinscheduler.apache.org/zh-cn/docs/latest/guide/) 获取最新版官方文档。 ```bash # 示例:下载DolphinScheduler二进制包 wget https://downloads.apache.org/dolphinscheduler/3.1.3/apache-dolphinscheduler-3.1.3-bin.tar.gz tar -zxvf apache-dolphinscheduler-3.1.3-bin.tar.gz ```
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值