〔从零搭建〕数据平台部署指南

🔥🔥 AllData大数据产品是可定义数据中台，以数据平台为底座，以数据中台为桥梁，以机器学习平台为中层框架，以大模型应用为上游产品，提供全链路数字化解决方案。
✨杭州奥零数据科技官网：http://www.aolingdata.com
✨AllData开源项目：https://github.com/alldatacenter/alldata
✨Gitee组织：https://gitee.com/alldatacenter

摘要：数据平台基于开源项目DataSophon建设，支持快速部署大数据云原生平台，实现高效管理、实时监控及自动化运维。内容主要为以下五部分:

一、在线演示环境
二、功能简介
三、源码编译部署安装
四、访问数据平台页面
五、常见问题与解决方案

💡Tips:关注「公众号」大数据商业驱动引擎

🔹AllData数据中台线上正式环境：http://43.138.156.44:5173/ui_moat/
请联系市场总监获取账号密码

2.1 数据平台基于开源项目DataSophon建设

AllData数据中台集成的DataSophon数据平台是一个开源的大数据管理平台。支持快速部署大数据云原生平台，实现高效管理、实时监控及自动化运维。
通过集成DataSophon可高效集成多种数据源，包括关系型数据库、NoSQL数据库等，实现数据的集中管理和利用。
同时，它具备强大数据处理能力，能对海量数据进行实时分析、挖掘和预测，满足企业多样化需求。
此外，DataSophon还提供数据可视化功能，将复杂数据以直观图形化方式展示，助力企业快速理解数据背后的含义，为决策提供有力支持。
🔹开源项目：https://github.com/datavane/datasophon
🔹更多教程可以参考官方教程文档：https://datasophon.github.io/datasophon-website

2.2 数据平台功能特点

• 快速部署
• 兼容复杂环境
• 监控指标全面丰富
• 灵活便捷的告警服务
• 可扩展性强
• 安全可靠
• 便捷运维
• 全面兼容开源生态

💡部署步骤：

3.1 环境准备

🔹操作系统要求：
推荐使用Linux发行版（如Ubuntu/CentOS），确保系统已安装基础依赖：

• Java环境：JDK 11或更高版本（需配置JAVA_HOME环境变量）。
• Maven：3.6.x或更高版本（用于项目构建）。
• Git：用于代码克隆与版本管理。
• 数据库：MySQL 5.7或更高版本（需提前安装并配置）。
• 其他工具：Node.js（部分前端模块依赖）、Docker（可选，用于容器化部署）

🔹系统资源要求：
确保服务器具备足够的CPU、内存（建议至少8GB）和磁盘空间（至少50GB）。

3.2 源码编译部署获取安装包dat --验证项目结构
🔹项目目录包含后端服务（如studio、gateway）、前端模块、数据库脚本（install目录）及配置文件（如application.properties）。

3.3 编译构建
🔹依赖安装–使用Maven安装项目依赖
若依赖下载缓慢，可配置Maven镜像仓库（如阿里云镜像）。

🔹数据库初始化–执行数据库初始化脚本（位于install目录）

–修改application.properties中的数据库连接配置

3.4 运行配置
🔹启动关键服务–AllData数据中台依赖多个微服务，需按顺序启动：

• 注册中心（Eureka）：eureka模块。
• 网关服务（Gateway）：gateway模块。
• 核心业务服务：如数据集成、数据质量等模块。

🔹前端部署–若项目包含前端模块，需编译并部署：
将构建产物（如ui_datasophon目录）部署至Nginx或Tomcat服务器

🔹日志配置
–修改logback.xml文件，配置日志输出路径和级别（如INFO或DEBUG）：

3.5 验证与访问
🔹访问Web界面
默认访问地址：http://localhost:8080（具体端口以配置为准）。

3.6 数据平台后端源码编译

3.7 IDEA选择JDK8

3.8 IDEA勾选Skip Tests

3.9 IDEA执行Maven Package打包



3.10 打包之后获取安装包 --包含DataSophon-Manager与Worker

3.11 获取DataSophon-Manager-xxx.tar.gz安装包，解压到服务目录

3.12 获取DataSophon-Worker-xxx.tar.gz安装包，解压到服务器目录

3.13 数据平台-服务器创建大数据组件包目录

🔹数据平台-创建目录

• mkdir /opt/datasophon/DDP/packages

🔹拷贝DDP-1.2.1.tar.gz解压到服务器目录
DDP安装包可以下载，解压到/opt/datasophon/DDP/packages
通过网盘分享的文件：DDP-1.2.1
如需可联系市场总监获取链接。

🔹数据平台-解压之后

🔹查看DataSophon-Manager与DataSophon-Worker部署目录

• cd /opt/datasophon
  

🔹配置Java8 Home

• exportJAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.412.b08-1.el7_9.x86_64

🔹启动DataSophon-Manager

• cd /opt/datasophon/datasophon-manager/bin./datasophon-api.sh start
  api

🔹启动DataSophon-Worker

• cd /opt/datasophon/datasophon-worker/bin./datasophon-worker.sh start
  worker

🔹服务器（云服务器）开放端口与防火墙

🔹重启gateway
kill -9 xxx./gateway.sh

4.1 数据平台-集群运维中心

4.2 创建集群

4.3 集群总览

4.4 主机管理

4.5 添加新主机

4.6 服务管理

4.7 增加大数据组件服务




4.8 告警组管理

4.9 新建告警组

4.10 告警组指标管理

4.11 新建告警指标

4.12 编辑告警指标

4.13 租户管理

4.14 添加用户

4.15 用户组列表

4.16 添加用户组

4.17 机架管理

4.18 添加机架

4.19 标签管理

4.20 添加标签

4.21 大数据集群

4.22 编辑集群

4.23 配置集群

4.24 删除集群

4.25 软件管理中心




4.26 存储库管理

5.1 常见问题与解决方案
🔹依赖冲突

若编译失败，检查pom.xml中的依赖版本，确保无冲突。

🔹数据库连接失败
确认MySQL服务已启动，且用户名/密码正确。

🔹端口占用
使用netstat -tulnp检查端口占用情况，释放冲突端口。

5.2 扩展建议
🔹容器化部署
使用Docker Compose或Kubernetes编排服务，简化部署流程。

🔹高可用配置
对关键服务（如注册中心、数据库）进行集群化部署。