手把手入门MO | 如何使用 DolphinScheduler 连接 MatrixOne

大数据培训-DolphinScheduler(二) 4、在新建的项目中创建新的工作流,在工作流创建画布上选择spark节点图标,创建spark任务,使用我们事先已经上传到资源中心的jar包,配置必要的参数。5、以此类推,分别创建出dwd层、dws层和ads层的任务流,并使用箭头连接,确定三个任务的先后执行顺序。10、选中箭头,将节点进行连接,建立任务间的执行顺序,点击保存,设置DAG图名称。9、创建三个简单的工作任务,执行简单输出,输出helloworld。11、测试,上线,需要先点击上线,再点击执行,执行前需要配置一些参数。6、上线、执行,进行测试。... 阅读详情

1 概述

Apache DolphinScheduler 是一个分布式、易扩展的可视化 DAG 工作流任务调度开源系统。它提供了一种解决方案,可以通过可视化操作任务、工作流和全生命周期的数据处理过程。

Apache DolphinScheduler 的主要目标是解决复杂的大数据任务依赖关系。它使用 DAG(Directed Acyclic Graph,有向无环图)的流式方式来组装任务,允许您实时监控任务的执行状态,支持任务重试、指定节点恢复失败、暂停、恢复、终止等操作。

MatrixOne 支持与可视化 DAG 工作流任务调度系统 DolphinScheduler 进行连接。本文将指导您如何通过 DolphinScheduler 连接到 MatrixOne 并创建任务工作流。

2 开始前准备

  • 已完成安装和启动 MatrixOne。
  • 已完成安装 DolphinScheduler。

3 配置MySQL驱动

1. 下载 MySQL 驱动并将其复制到 libs 目录

在安装完成后,您需要手动下载 mysql-connector-java 驱动(版本 8.0.16),然后将它分别复制到 DolphinScheduler 安装目录下的四个目录中:api-server/libs、alert-server/libs、master-server/libs 和 worker-server/libs。

Note
推荐使用 `mysql-connector-java-8.0.16.jar` 作为 MySQL 驱动包。

2. 重启 DolphinScheduler

复制驱动包完成后,需要重启 DolphinScheduler 服务。首先进入 DolphinScheduler 的安装目录,然后执行以下命令来重启 DolphinScheduler 服务:

# 停止 Standalone Server 服务
bash ./bin/dolphinscheduler-daemon.sh stop standalone-server
# 启动 Standalone Server 服务
bash ./bin/dolphinscheduler-daemon.sh start standalone-server

3. 登录 DolphinScheduler

使用默认用户名 admin 和密码 dolphinscheduler123,通过访问 http://ip:12345/dolphinscheduler/ui 登录 DolphinScheduler 的 Web 用户界面,如下图所示:

4. 创建数据源

点击数据源中心 > 创建数据源,填写 MatrixOne 数据连接信息。完成后,点击测试连接,如果连接成功,点击确定保存:

4 创建项目工作流

1. 创建租户

在安全中心中,点击创建租户,填写租户名称,如下图所示:

Note

在生产环境中,不建议使用 root 作为租户。

2. 创建项目

在项目管理中,点击创建项目,填写项目名称,如下图所示:

3. 创建工作流并添加节点

点击上一步创建的项目名称,然后点击创建工作流。从左侧拖动 SQL 节点到右侧的画布上,填写节点名称、数据源信息、SQL 类型、SQL 语句,然后点击确定。如下图所示:

此步骤创建的是一个建表节点,SQL 语句用于创建表格。

接下来,类似地创建插入数据和查询数据节点。这三个节点的依赖关系如下图,您可以手动连接它们:

三个节点的 SQL 语句如下:

#create_table
CREATE TABLE IF NOT EXISTS test_table (id INT AUTO_INCREMENT PRIMARY KEY, name
VARCHAR(255) NOT NULL)
#insert_data
INSERT INTO test_table (name) VALUES ('John Doe')
#select_data
SELECT * FROM test_table

根据依赖关系连接这三个节点,然后点击保存。填写工作流名称,选择之前创建的租户,选择执行策略为并行,然后点击确定。

创建好工作流后,您可以在工作流关系页面看到创建的工作流,其状态为工作流下线:

同样,您也可以在工作流定义页面看到定义的工作流,其状态为下线:

4. 上线并运行工作流

工作流必须先上线才能运行。点击上线按钮,将之前创建的工作流上线:

上线后,工作流的状态如下图所示:

接下来,点击运行按钮,设置启动前的配置参数,然后点击确定:

最后,返回项目概况,查看工作流以及下面的三个任务是否成功运行,如下图所示:


关于MatrixOne

MatrixOne 是一款基于云原生技术,可同时在公有云和私有云部署的多模数据库。该产品使用存算分离、读写分离、冷热分离的原创技术架构,能够在一套存储和计算系统下同时支持事务、分析、流、时序和向量等多种负载,并能够实时、按需的隔离或共享存储和计算资源。云原生数据库MatrixOne能够帮助用户大幅简化日益复杂的IT架构,提供极简、极灵活、高性价比和高性能的数据服务。

MatrixOne企业版和MatrixOne云服务自发布以来,已经在互联网、金融、能源、制造、教育、医疗等多个行业得到应用。得益于其独特的架构设计,用户可以降低多达70%的硬件和运维成本,增加3-5倍的开发效率,同时更加灵活的响应市场需求变化和更加高效的抓住创新机会。在相同硬件投入时,MatrixOne可获得数倍以上的性能提升。

MatrixOne秉持开源开放、生态共建的理念,核心代码全部开源,全面兼容MySQL协议,并与合作伙伴打造了多个端到端解决方案,大幅降低用户的迁移

关键词:超融合数据库、多模数据库、云原生数据库、国产数据库。

MatrixOrigin 官网:新一代超融合异构开源数据库-矩阵起源(深圳)信息科技有限公司 MatrixOne

Github 仓库:GitHub - matrixorigin/matrixone: Hyperconverged cloud-edge native database

dolphinscheduler 记录 阅读详情

相关推荐

避坑指南:DolphinScheduler Docker容器添加MySQL驱动后,为什么数据源还是连不上?

本文深入分析了DolphinScheduler Docker容器添加MySQL驱动后数据源连接失败的7个关键原因,包括驱动文件部署路径、版本兼容性、容器网络配置等常见陷阱。通过详细的排查步骤和解决方案,帮助用户快速定位并解决MySQL驱动加载问题,确保数据源正常连接。

weixin_30236595的博客 422

dolphinscheduler初始化数据库,提示无法加载com.mysql.cj.jdbc.Driver

提示无法加载com.mysql.cj.jdbc.Driver

bababuzaijia的博客 4343

【海豚调度 开机启动】dophischeduler 如何开启开机自启动功能

DolphinScheduler 是一个分布式、去中心化的大数据工作流调度系统,支持大数据任务调度。若要设置 DolphinScheduler 开机自启动,通常需要将其配置为系统服务。

赖德发的博客 1542

DolphinScheduler服务启停

1、 服务启停 cd/home/hadoop/app/dolphinscheduler/bin ⼀键停⽌集群所有服务 sh./bin/stop-all.sh ⼀键开启集群所有服务 sh./bin/start-all.sh 启停Master sh./bin/dolphinscheduler-daemon.shstartmaster-server sh./bin/dolphinscheduler-daemon.shstopmaster-server 启停Worke...

Java框架、并发编程、分布式、微服务、Redis、HarmonyOS、中间件等技术 4943

【DolphinScheduler】租户和队列

一、租户 租户对应的是 Linux 的用户,用于 worker 提交作业所使用的用户。 如果 Linux 没有这个用户,worker 会在执行脚本的时候创建这个用户。 租户编码:租户编码是 Linux 上的用户,唯一,不能重复。 新建的租户会在 HDFS 上 $hdfsPath("/dolphinscheduler") 目录下创建租户目录,租户目录下为该租户上传的文件和 UDF 函数。 租户名称:租户编码的别名 注意: 在选择租户时,要考虑选择的租户在程序的执行中是否有相应的读写权限,避免出错。

hyj 5377

【OpenArm|Control】openarm机械臂ROS2仿真控制

openarm_ros2 存储库包含用于 ros2_control 的包集合。 它抽象化了硬件控制,将手臂公开为接收位置、速度和扭矩命令并输出关节状态的接口。 openarm_bringup 包提供了通过包与 ROS2 控制框架集成的启动文件。该软件包提供启动文件和配置,用于启动硬件接口、加载控制器以及将物理臂连接到 ROS2 生态系统。启动后,您可以使用标准 ROS2 控制工具和接口来命令手臂并接收反馈。openarm_bringup bringup 包支持模拟硬件(用于模拟/测试)和通过硬件插件的真实

ai领域探索者,欢迎一起交流,目前从事具身智能行业。 2959

DolphinScheduler 连接Mysql数据源失败解决

Dolphinscheduler 连接mysql数据源提示失败,解决

weixin_43025027的博客 4859

2025年普通人转向人工智能运维(AIOps)学习建议(附最新技术实践与资源)

AIOps不仅是技术的叠加,更是运维流程的重构。建议通过“学习-实践-反馈”循环,逐步从工具使用者成长为解决方案设计者。如需完整资源链接,可访问上述推荐的优快云博客及GitHub仓库。

资深全栈架构师,乐于在 优快云 分享技术见解,与大家携手共进,共攀技术巅峰! 3096

DolphinScheduler V3.1.8 海豚调度器【概述、安装、功能介绍、项目运用、邮箱预警设置】轻松拿捏!

Apache DolphinScheduler 是一个分布式易扩展的可视化 DAG 工作流任务调度开源系统。适用于企业级场景,提供了一个可视化操作任务、工作流和全生命周期数据处理过程的解决方案。Apache DolphinScheduler 旨在解决复杂的大数据任务依赖关系,并为应用程序提供数据和各种 OPS 编排中的关系。解决数据研发 ETL 依赖错综复杂,无法监控任务健康状态的问题。

JIE的博客 --- moon_coder 1万+

抖音直播参数逆向实战:手把手教你用Python获取ttwid和x-bogus(附完整代码)

本文深入解析抖音直播接口的反爬机制,重点剖析核心防护参数ttwid和x-bogus的生成原理与作用。通过Python实战,手把手教你逆向获取ttwid、webid等关键参数,并构建稳定的数据采集方案,为开发者提供企业级数据获取能力。

weixin_29196891的博客 1046

Java utgard连接OPC问题记录

怎么开启是个问题, 是在引入openscada的jar包里的Sever类中修改,这就犯难了, 其实没必要, 只要在自己项目下创建与openscada中Server类相同的路径,并复制Server过去改就行了, 项目会优先使用本地类,像下面这样。奇迹发生了,0x00000005解决. 注: 我的安全补丁编码跟网上查到的并不一样, 所以最初没有删,后来全都删了就好了,这个编码规则咱也不知道.安全日志中记录用户登录行为, OPC通信需要使用Windows系统用户进行登录, 如果用户名密码错误这里会有相关记录.

wangxin1949的博客 2844

dolphinscheduler单机版部署教程

本教程将介绍如何安装和配置 DolphinScheduler,一个分布式任务调度系统。您将学习如何准备安装环境,下载和解压 DolphinScheduler,修改配置文件,配置 MySQL 数据源,并进行数据库初始化。最后,您将学习如何启动 DolphinScheduler 单机版,并通过浏览器访问系统 UI。通过本教程,您已经学会了安装和配置 DolphinScheduler 的基本步骤。

zcs2312852665的博客 6516

【0000】PostgreSQL V17.4 内核源码剖析专栏(2017 ~ 2025.11.28 更新)

本专栏将会持续更新,直到将PostgreSQL V13.2源码涉及的所有原理、技术剖析完成为止。每一篇文章都是经过多次的源码阅读 + 调试,得以验证之后才梳理成文章形式。最终该专栏的文章数量应该在一万篇或以下,这也是文章序号从【0000】开始的缘故。通过本专栏的学习,能够让你掌握PostgreSQL数据库中的每个技术背后,底层的实现原理。

Postgres 数据库内核开发工程师 1万+

DolphinScheDuler配置

一、配置前置准备工作JDK:下载JDK (1.8+),安装并配置二进制包:在下载页面下载 DolphinScheduler 二进制包数据库:PostgreSQL (8.2.15+) 或者 MySQL (5.7+),两者任选其一即可,如 MySQL 则需要 JDBC Driver 8.0.16注册中心:ZooKeeper (3.4.6+)二、创建配置用户免密登录以及权限。

dhasdh的博客 3780

Allegro孔和线被做到器件里面如何解锁操作指导

在做PCB设计的时候,会遇到孔和线被做到器件的情况,当需要移动器件的时候,孔和线也会跟着移动。孔和线被做到器件里面如何解锁操作指导。

weixin_54787054的博客 1147

【系统分析师】2025年下半年真题:综合知识-答案及详解(回忆版)

本文摘要包含系统分析师考试相关题目解析,主要涵盖软件工程、数据库、网络协议和项目管理等知识点。内容包括:软件再工程与逆向工程的区别(D);GNU GPL开源协议特性(A);TCP/IP协议分层(A、B);数据库范式判定(A、B);前导图进度管理工具(C);系统规划中的数据类识别方法(B、D);关系代数除运算(C);CMM优化级特征(A);回归测试重要性(C)。这些解析帮助理解核心概念和考试重点。

数据知道的博客 6721

DolphinScheduler

DolphinScheduler

S1124654的博客 1396

21、二维卷积层(convolution2dLayer)的全面解析

本文全面解析了二维卷积层(convolution2dLayer)的原理、属性和应用,详细介绍了其在深度学习中的作用及实现方法。文章涵盖创建卷积层的语法、参数设置、算法原理、输入输出格式、优化策略以及实际应用案例,旨在帮助读者更好地理解和应用二维卷积层构建高效的深度学习模型。

red88的博客 329

一百二十七、海豚调度器——dolphinscheduler205单机版安装

海豚调度——dolphinscheduler205单机版安装

tiantang2renjian的博客 1168

华为的C语言编程规范.pdf

华为技术有限公司内部技术规范。本规范制定了编写C语言程序的基本原则、规则和建议。从代码的清晰、简洁、可测试、安全、程序效率、可移植各个方面对C语言编程作出了具体指导。

复分析 阿尔福斯(Ahlfors) 第三版答案 英文

答案分为十章,有部分习题没有答案,全英文复分析阿尔福斯(Ahlfors) 第三版答案

DolpinScheduler2.0.5详细介绍与踩坑实战

Apache DolphinScheduler是一个分布式易扩展的可视化工作流任务调度平台,致力于解决数据处理流程中错综复杂的关系,使调度系统在数据处理流程中开箱即用。版本:2.0.5。

有勇气的牛排博客 3497

锂电池充电器电路设计 里面有电路

锂电池充电器电路设计 里面有电路 3.7V升压到5V电路设计。

DolphinScheduler 入门(安全中心配置)

租户对应的是 Linux 的用户,用于 worker 提交作业所使用的用户。打开要设置分组的 Worker 节点上的 worker.properties 配置文件,修改worker.groups 参 数,worker.groups 参数的值为该 Worker 节点对应的分组名称,默认为 default,如果该 worker节点属于多个分组,则多个分组名称以逗号隔开。一个告警组可包含多个告警实例,一个告警实例,需选择一个告警插件,并配置相应参数,目前支持的告警插件有电子邮件、钉钉、企业微信、飞书等。

weixin_45417821的博客 2952

霍尼韦尔SoftMaster使用说明

霍尼韦尔SoftMaster使用说明

dolphinscheduler的租户问题

dolphinscheduler海豚

gcy2263的博客 1558

DolphinScheduler 单机部署 Checklist(基于 Docker + 本地 MySQL)

本文总结了DolphinScheduler使用MySQL数据库的配置要点:1)确保MySQL 8.0.42及以上版本,配置远程访问权限;2)验证网络连通性;3)关键步骤是为DolphinScheduler注入MySQL驱动,需修改Dockerfile并在各模块复制驱动文件;4)提供docker-compose.yml配置示例,强调使用宿主机真实IP;5)必须初始化数据库,可通过脚本或SQL文件完成;6)最后检查容器状态和日志,访问地址为http://localhost:12345

chenxuefeng_accp的专栏 603

dolphinscheduler安装与配置-使用脚本一键安装配置dolphinscheduler单机版(配置MySQL版本)

使用此脚本可以帮助您自动下载安装配置dolphinscheduler单机版,包括设置MySQL保存元数据。自动下载、解压dolphinscheduler安装包,自动修改dolphinscheduler的配置,配置MySQL连接,初始化数据库。

zcs2312852665的博客 1021

【DolphinScheduler官方部署指南】

伪集群部署目的是在单台机器部署 DolphinScheduler 服务,该模式下 master、worker、api server 都在同一台机器上如果你是新手,想要体验 DolphinScheduler 的功能,推荐使用方式体检。

Felier's Blog 841
上一篇: MatrixOne 完成与飞腾处理器的兼容互认
下一篇: MO 2023 年度回顾
MatrixOrigin
博客等级 码龄5年 708粉丝 230原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值