离线开发平台-HdfsFile同步Doris

🔥🔥 AllData大数据产品是可定义数据中台，以数据平台为底座，以数据中台为桥梁，以机器学习平台为中层框架，以大模型应用为上游产品，提供全链路数字化解决方案。

✨杭州奥零数据科技官网：http://www.aolingdata.com
✨Github项目：https://github.com/alldatacenter/alldata
✨Gitee项目：https://gitee.com/alldatacenter/alldata
✨AllData官方手册：https://www.yuque.com/aolingdata/product
✨AllData正式环境：http://43.138.156.44:5173/ui_moat

离线开发平台基于开源项目DolphinScheduler建设

DolphinScheduler 是一个功能强大的分布式任务调度平台，支持复杂工作流编排、任务监控与告警，适用于离线数据处理场景。

DolphinScheduler开源项目：
https://github.com/apache/DolphinScheduler

文档地址：
https://dolphinscheduler.apache.org/zh-cn/docs/3.2.1/guide/homepage

1.环境准备

• HDFS
• Doris
• seatunnel

1.1 SeatunneI

-下载地址：https://seatunnel.apache.org/download
-版本：2.3.8

-下载完成后上传到服务器并解压

2.数据准备

2.1 hdfs file
-编辑 json 文件

-上传到 HDFS，如下图预览

2.2 Doris数据库表

3. 离线开发平台页面

-进入离线开发平台

3.1 配置环境
-点击安全中心 - 环境管理

-编辑 SEATUNNEL_HOME，如果没有则创建
-将服务器 JDK 环境和 SEATUNNEL 路径配置进去

3.2 新建项目配置
-点击项目管理 - 创建项目


3.3 进入项目管理
-点击项目名称即可进入项目管理界面

3.4 创建工作流

-选择数据集成-seatunneI，拖拽到工作区中

-配置SeatunneI


-脚本内容

-用户根据实际需求修改hdfs配置，schema对应字段，以及Doris配置信息

-编辑完成后点击保存

-配置基本信息点击确定

3.5 上线工作流

-我们手动测试，不需要配置定时任务

3.6 启动工作流

3.7 查看工作流实例

3.8 查看任务示例
-可以看到此时任务执行完成

3.9 查看Doris数据库

4. QA

4.1 HdfsFiIe配置
参考链接：https://seatunnel.incubator.apache.org/zh-CN/docs/2.3.12/connector-v2/source/HdfsFile