Alldata项目完整部署与运行指南-优快云博客

本文链接：https://blog.youkuaiyun.com/gitblog_00427/article/details/148782908

Alldata项目完整部署与运行指南

alldata 🔥🔥 AllData大数据产品是可定义数据中台，以数据平台为底座，以数据中台为桥梁，以机器学习平台为中层框架，以大模型应用为上游产品，提供全链路数字化解决方案。微信群：https://docs.qq.com/doc/DVHlkSEtvVXVCdEFo 项目地址: https://gitcode.com/gh_mirrors/al/alldata

项目概述

Alldata是一个功能全面的数据中台解决方案，采用微服务架构设计，包含数据集成、元数据管理、数据标准、数据质量、数据资产等核心模块。本文将详细介绍如何从零开始部署和运行Alldata项目。

环境准备

在开始部署前，请确保以下环境已准备就绪：

基础环境要求

JDK：1.8或更高版本
数据库：MySQL 5.7.0或更高版本（推荐5.7+）
缓存：Redis 3.0或更高版本
构建工具：Maven 3.0或更高版本
前端环境：Node.js 10.15.3或更高版本
消息队列：RabbitMQ 3.0.x或更高版本

特别提示：使用MySQL 8的用户需注意数据导入时的编码格式问题

项目结构解析

后端项目结构

后端采用微服务架构，主要分为以下几个部分：

moat/
├── config/          # 配置中心（必须启动）
├── eureka/         # 注册中心（必须启动）
├── gateway/        # API网关（必须启动）
├── install/        # 数据库脚本目录
│   ├── 16gdata/
│   ├── 16gmaster/
│   │   ├──studio/
│   │   │   ├──alldata-0.x.x.sql
│   ├── 16gsla/ 
├── studio/         # 业务模块目录
│   ├── codegen-service-parent/      # 代码生成（可选）
│   ├── data-market-service-parent/  # 数据服务（可选）
│   ├── data-masterdata-service-parent/ # 数据模型（可选）
│   ├── data-metadata-service-parent/   # 元数据管理（可选）
│   ├── data-quality-service-parent/    # 数据质量（可选）
│   ├── data-standard-service-parent/   # 数据标准（可选）
│   ├── data-system-service-parent/     # 基础服务（必须）
│   ├── data-visual-service-parent/     # 数据可视化（可选）
│   ├── email-service-parent/           # 邮件服务（可选）
│   ├── file-service-parent/            # 文件服务（可选）
│   ├── quartz-service-parent/          # 定时任务（可选）
│   ├── service-data-dts-parent/        # 数据集成（可选）
│   ├── system-service-parent/          # 系统管理（必须）

前端项目结构

前端采用Vue.js框架，标准项目结构：

moat_ui/
├── public/        # 静态资源
├── src/           # 源代码目录
├── babel.config.js # Babel配置
├── package.json   # 项目依赖
├── vue.config.js  # Vue项目配置

本地开发环境部署

后端服务启动

获取项目代码：将项目代码导入到IDEA等开发工具中
数据库初始化：
- 创建名为studio的数据库
- 执行install/sql目录下的SQL脚本：
  - alldata.sql（基础表结构）
  - alldata-v0.x.x.sql（版本更新脚本）
  - BI相关SQL（参考BI快速入门文档）
配置修改：修改moat/config/src/main/resources/config/application-common-dev.yml文件中的配置项：
- RabbitMQ连接信息
- MySQL连接信息
- Redis连接信息
核心服务启动顺序：
- DataxEurekaApplication（注册中心）
- DataxConfigApplication（配置中心）
- DataxGatewayApplication（API网关）
- SystemServiceApplication（系统服务）
可选服务：根据需求启动其他业务模块

前端服务启动

进入前端项目目录
执行npm install安装依赖
执行npm run dev启动开发服务器

生产环境部署

数据库初始化

执行基础SQL脚本：

source install/sql/alldata.sql
source install/sql/alldata-v0.x.x.sql

导入BI相关SQL（参考BI快速入门文档）

服务部署方案

单节点部署（All in One）

启动注册中心（eureka）
启动配置中心（config）
启动API网关（gateway）
按需启动其他服务

三节点集群部署

| 节点 | 服务 | 端口 | |------------|-----------------------------------|-------| | 16gmaster | 系统服务、数据市场、元数据等 | 8000+ | | 16gslave | 注册中心、元数据控制台等 | 8610+ | | 16gdata | 数据标准、可视化、文件服务等 | 8811+ |

部署步骤：

在16gslave节点启动eureka
在16gmaster节点启动config
在16gdata节点启动gateway
分别在各节点执行对应的启动脚本

特殊组件处理

对于项目中使用的aspose-words组件，需要手动安装到本地Maven仓库：

cd moat/common
mvn install:install-file -Dfile=aspose-words-20.3.jar \
     -DgroupId=com.aspose \
     -DartifactId=aspose-words \
     -Dversion=20.3 \
     -Dpackaging=jar