搭建DolphinScheduler(海豚调度器)单机版

        单机模式(standalone)模式下,所有服务均集中于一个StandaloneServer进程中,并且其中内置了注册中心Zookeeper和数据库H2(基于内存的)。只需配置JDK环境,就可一键启动DolphinScheduler,快速体验其功能。

相关的一些配置网站:https://dolphinscheduler.apache.org/zh-cn/docs/3.2.0/guide/installation/standalone
https://quartz-temper-492.notion.site/DolphinScheduler-d9951271785549f0ad811ffd04025d7d
 

环境搭配步骤(前提:要使用新版本的DS:apache-dolphinscheduler-3.1.8-bin):

1.上传,解压
tar -zxvf  xxx.tar.gz  -C /opt/installs/

2.将mysql的驱动包拷贝到所有的服务的jars目录下:

cd apache-dolphinscheduler-3.1.8-bin

cp /opt/installs/hive/lib/mysql-connector-java-8.0.26.jar ./standalone-server/libs/standalone-server/

3.在mysql服务中新建一个数据库

CREATE DATABASE dolphinscheduler DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;

创建用户[非必须的]
假如你想创建,会遇到密码太简单的问题:
如果提示密码等级过低:
#mysql8
set global validate_password.policy=LOW;
set global validate_password.length=4;
set global validate_password.mixed_case_count=0;
set global validate_password.number_count=0;
set global validate_password.special_char_count=0;

创建新用户:

CREATE USER 'dolphinscheduler'@'%' IDENTIFIED BY '123456';
GRANT ALL PRIVILEGES ON dolphinscheduler.* TO 'dolphinscheduler'@'%';
FLUSH PRIVILEGES;

4.在linux黑窗口下运行

export DATABASE=mysql
export SPRING_PROFILES_ACTIVE=dolphinscheduler
export SPRING_DATASOURCE_URL="jdbc:mysql://bigdata01:3306/dolphinscheduler?useUnicode=true&characterEncoding=UTF-8&useSSL=false&allowPublicKeyRetrieval=true"
export SPRING_DATASOURCE_USERNAME=dolphinscheduler
export SPRING_DATASOURCE_PASSWORD=123456

5.初始化数据库

bash tools/bin/upgrade-schema.sh

6.修改配置文件:/opt/modules/ds/apache-dolphinscheduler-3.1.8-bin/standalone-server/conf

修改 DolphinScheduler 的配置
在 DolphinScheduler 的安装目录下找到 conf/application.yaml 文件。
将其中关于数据库连接的部分修改为指向你的 MySQL 实例,包括用户名、密码、数据库名等信息。以下是修改后的示例:
  datasource:
    driver-class-name: com.mysql.cj.jdbc.Driver
    url: jdbc:mysql://bigdata01:3306/dolphinscheduler?useUnicode=true&characterEncoding=UTF-8&useSSL=false&allowPublicKeyRetrieval=true
    username: dolphinscheduler
    password: 123456

注意:配置文件中注意语句对齐,如果后面启动了网站打不开可能是配置文件出错了

7.启动 查询状态 关闭命令(单机启动,不需要zk,它内置了zk,把我们自己的zk服务停掉。)

# 启动 Standalone Server 服务
bash ./bin/dolphinscheduler-daemon.sh start standalone-server
# 停止 Standalone Server 服务
bash ./bin/dolphinscheduler-daemon.sh stop standalone-server
# 查看 Standalone Server 状态
bash ./bin/dolphinscheduler-daemon.sh status standalone-server

8.如何查看

访问地址:http://bigdata01:12345/dolphinscheduler/ui
账号和密码:  admin  dolphinscheduler123

以上就是DolphinScheduler单机版的搭建!

DolphinScheduler海豚调度)是一个分布式易扩展的可视化DAG工作流任务调度平台。它支持多种任务类型,可以灵活地配置和监控任务执行。对于每个月月末的跑批任务,可以使用DolphinScheduler来自动化处理。 以下是使用DolphinScheduler配置月末跑批任务的基本步骤: 1. 创建工作流: 在DolphinScheduler的Web界面上创建一个新的工作流,命名为"月末跑批"。 2. 添加任务节点: 根据月末跑批的具体需求,添加相应的任务节点。常见的任务类型包括Shell脚本、SQL查询、数据导入导出等。 3. 配置任务参数: 为每个任务节点配置必要的参数,如数据库连接信息、文件路径等。 4. 设置任务依赖关系: 根据任务之间的依赖关系,使用DolphinScheduler的拖拽功能连接各个任务节点,形成完整的DAG(有向无环图)流程。 5. 设置调度规则: 在工作流设置中,配置调度周期。选择"每月"选项,并指定具体的执行日期(例如每月最后一天)。 6. 配置通知策略: 设置任务执行成功或失败时的通知方式,如邮件、短信或钉钉消息等。 7. 保存并发布: 完成所有配置后,保存工作流并点击发布按钮。 8. 监控执行情况: 在工作流执行后,可以通过DolphinScheduler的监控界面查看任务执行状态、日志等信息。 使用DolphinScheduler进行月末跑批的优势: - 支持分布式部署,提高处理能力
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值