离线开发平台-HTTP数据同步到Doris数仓能力演示

🔥🔥 AllData大数据产品是可定义数据中台，以数据平台为底座，以数据中台为桥梁，以机器学习平台为中层框架，以大模型应用为上游产品，提供全链路数字化解决方案。
✨杭州奥零数据科技官网：http://www.aolingdata.com
✨Github项目：https://github.com/alldatacenter/alldata
✨Gitee项目：https://gitee.com/alldatacenter/alldata
✨AllData官方手册：https://www.yuque.com/aolingdata/product
✨AllData正式环境：http://43.138.156.44:5173/ui_moat

一、离线开发平台基于开源项目DolphinScheduler建设
DolphinScheduler 是一个功能强大的分布式任务调度平台，支持复杂工作流编排、任务监控与告警，适用于离线数据处理场景。

1.1 可视化操作
提供直观的可视化界面，用户通过简单的拖拽和配置操作，就能轻松创建复杂的工作流任务，无需编写大量代码，降低了使用门槛，提高了工作效率。

1.2 任务调度与依赖管理
支持多种任务类型，如 Shell、SQL、Python 等，能满足不同数据处理场景的需求。可灵活设置任务之间的依赖关系，确保任务按照预定顺序执行，有效处理复杂的数据处理流程。

1.3 资源管理
能够对计算资源进行统一管理和分配，根据任务的资源需求合理调度，提高资源利用率，避免资源浪费。

1.4 监控与告警
实时监控任务的执行状态，包括任务进度、运行时长、资源使用情况等。当任务出现异常时，能及时发出告警通知，方便运维人员快速响应和处理问题，保障数据处理的稳定性和可靠性。

1.5 多租户支持
支持多租户模式，不同租户可以在同一个平台上独立进行任务开发和管理，实现资源隔离和权限控制，满足企业内不同部门或团队的使用需求。

🔹DolphinScheduler开源项目：
https://github.com/apache/DolphinScheduler
🔹文档地址：
https://dolphinscheduler.apache.org/zh-cn/docs/3.2.1/guide/homepage

二、离线开发平台功能特点

• 分布式易扩展架构
• 可视化DAG工作流编排
• 多租户与权限管理
• 任务类型丰富
• 高可靠性与容错机制
• 灵活的调度策略
• 任务状态监控与日志
• 数据源集成能力
• 版本控制与状态管理
• 生态兼容性

💡部署步骤：

一、源码获取

二、环境准备

2.1 操作系统要求：
支持 Linux 或 macOS 系统（推荐使用 Ubuntu/CentOS 或 macOS）。
确保系统已安装基础依赖工具（如git、curl、wget等）。

2.2 Java 环境：
安装 JDK 1.8 或更高版本（推荐使用 JDK 11）。
配置环境变量JAVA_HOME，并将$JAVA_HOME/bin添加到PATH。
验证安装：java -version

2.3 Maven 环境：
安装 Maven 3.6 或更高版本。
配置环境变量MAVEN_HOME，并将$MAVEN_HOME/bin添加到PATH。
验证安装：mvn -v

2.4 数据库：
支持MySQL或PostgreSQL。
创建数据库用户并授予权限，例如：

2.5 其他依赖：
确保系统已安装 Node.js（用于前端构建，可选）。
确保系统已安装 Python（用于部分脚本执行，可选）。

三、编译构建

3.1 编译后端代码：
进入项目根目录，执行以下命令进行编译：

编译完成后，生成的二进制包位于 dolphinscheduler-assembly/target 目录下，例如：

3.2 编译前端代码（可选）：

如果需要修改前端界面，可以编译前端代码：编译完成后，前端静态文件会生成到 ui_ds/ui_ds 目录。

四、部署与安装

4.1 解压二进制包
将编译生成的二进制包解压到部署目录：

4.2 配置数据库
修改数据库配置文件 conf/application.yaml，例如：

4.3 配置 ZooKeeper

修改 ZooKeeper 配置文件 conf/zookeeper.properties，例如：

4.4 配置 Zookeeper
修改 ZooKeeper 配置文件 conf/zookeeper.properties，例如：

4.5 初始化数据库
脚本会自动执行 dolphinscheduler-dao/src/main/resources/sql 目录下的 SQL 文件。

4.6 启动服务
启动Zookeeper（如果尚未启动）：

启动DolphinScheduler服务：

验证服务是否启动成功：

一、离线开发平台-功能概览

二、离线开发平台-项目管理

三、进入工作流页面

四、首先从数据共享平台-数据服务平台获取Http接口

4.1 （可选）使用API共享平台配置接口

4.2 （可选）使用数据服务平台配置接口

4.3 配置接口如下

http://43.138.156.44:5173/api/data/api/services/v2/test/v1?pageNum=1&pageSize=20

4.4 接口返回数据

五、确保接口正常返回数据

六、Http导入Doris的案例

七、可视化集成Seatunnel任务

八、配置Http同步到Doris的Yaml

九、Http数据同步到Doris实时数仓配置详情

十、Http数据同步到Doris实时数仓，启动Http到Doris任务同步工作流

十一、Http数据同步到Doris实时数仓，上线Http到Doris同步任务工作流

十二、Http数据同步到Doris实时数仓，定时抽取Http数据到Doris数据仓库

十三、Http数据同步到Doris实时数仓任务执行成功，同步数据成功

十四、Http数据同步到Doris实时数仓任务日志，查看同步操作记录

十五、Http数据同步到Doris实时数仓结果查看，成功从Http同步8条数据到Doris

十六、数据源平台查看数据


一、编译失败

• 确保 Maven 版本符合要求（3.6+）。
• 确保网络环境良好（可能需要配置 Maven 镜像）。
• 如果遇到依赖冲突，可以尝试清理本地 Maven 仓库：

二、数据库连接失败

• 检查数据库配置是否正确。
• 确保数据库服务已启动，并且用户权限配置正确。
• 检查防火墙是否放行了数据库端口（默认 3306）。

三、ZooKeeper 连接失败

• 检查 ZooKeeper 服务是否已启动。
• 检查 ZooKeeper 配置是否正确。
• 检查防火墙是否放行了 ZooKeeper 端口（默认 2181）。

四、服务启动失败

• 检查日志文件 logs/dolphinscheduler-*.log 获取详细错误信息。
• 确保系统资源充足（内存、CPU 等）。
• 确保端口未被占用（默认端口：12345、25333、50050 等）。