〔从零搭建〕数据湖平台部署指南

🔥🔥 AllData大数据产品是可定义数据中台，以数据平台为底座，以数据中台为桥梁，以机器学习平台为中层框架，以大模型应用为上游产品，提供全链路数字化解决方案。

✨杭州奥零数据科技官网：http://www.aolingdata.com
✨AllData开源项目：https://github.com/alldatacenter/alldata
✨Gitee组织：https://gitee.com/alldatacenter

摘要：数据湖平台基于开源项目Paimon建设。它融合了Lake格式与LSM结构，支持实时数据同步至数据湖，具备批流一体处理能力，降低数据处理复杂性和成本，还注重生态集成，提供统一数据存储和访问接口。内容主要为以下六部分:

一、在线演示环境
二、功能简介
三、源码编译部署安装
四、访问数据湖平台页面
五、部署后验证与监控
六、常见问题与解决方案

💡Tips:关注「公众号」大数据商业驱动引擎

🔹AllData数据中台线上正式环境：http://43.138.156.44:5173/ui_moat/
请联系市场总监获取账号密码

2.1 数据湖平台基于开源项目Paimon建设

数据湖平台支持使用Flink和Spark构建实时Lakehouse架构，实现流式和批处理操作。它融合了Lake格式与LSM结构，支持实时数据同步至数据湖，具备批流一体处理能力，降低数据处理复杂性和成本，还注重生态集成，提供统一数据存储和访问接口。

🔹Paimon开源项目：
https://github.com/apache/paimon-web
🔹Paimon文档地址：https://paimon.apache.org/docs/1.0/concepts/overview/

2.2 数据湖平台功能特点

• 实时数据同步与处理
• 高效存储与查询性能
• 灵活的编程模型与SQL支持
• 多种运行模式
• 强大的生态集成能力
• 数据湖能力
• 状态管理与容错机制
• 并发控制与冲突处理

（引用官网paimon图片）

💡部署步骤：

3.1 环境准备

🔹操作系统要求：
推荐使用Linux发行版（如Ubuntu/CentOS），因为大多数大数据技术和分布式系统都针对Unix-like系统进行了优化。

🔹Java环境：
版本：使用JDK 8
配置：设置JAVA_HOME环境变量，验证命令java -version输出正确。

🔹Hadoop/Hive(如需与现有生态集成）：
版本：Hadoop 3.x、Hive 3.x，需配置core-site.xml和hdfs-site.xml。
权限：确保运行Paimon的用户有HDFS读写权限。

🔹数据库（元数据存储）：
MySQL 8.0+：创建专用数据库paimon_metadata，字符集设为utf8mb4。
连接池配置：建议使用HikariCP，最大连接数设为2 * CPU核心数。

🔹其他依赖：
根据项目需求，可能还需要安装Python解释器及其他基础软件包。

3.2 获取源码
🔹版本选择：建议使用与AllData商业版兼容的Paimon版本。

3.3 编译构建
🔹安装依赖–进入项目目录后，使用Maven安装项目依赖，执行命令mvn clean install，确保所有依赖项正确下载和安装，为编译构建做好准备。

🔹基础编译–参数说明：-DskipTests跳过测试（生产环境建议运行测试），-Dmaven.javadoc.skip=true加速编译。

🔹构建产物–生成target/paimon--bin.tar.gz，解压后包含bin、conf、lib等目录。

🔹常见问题：

依赖下载失败：检查网络代理设置，或手动下载依赖后安装到本地仓库。
编译报错：检查JDK版本、Maven版本是否匹配，或清理缓存后重试（mvn clean）。

3.4 部署及运行配置

🔹核心配置文件：

• conf/paimon-site.xml
• conf/log4j2.xm

配置日志级别和滚动策略（建议按天分割，保留7天日志）。

🔹数据库连接：
在conf/paimon-env.sh中配置JDBC URL

🔹启动服务--单机模式（测试环境）：

🔹集群模式（生产环境）–使用Kubernetes部署：

修改k8s/deployment.yaml，设置副本数、资源限制（如requests.cpu: 2，limits.memory: 8Gi）。
应用配置：kubectl apply -f k8s/。

🔹验证服务：
访问Web UI（默认端口8080），检查表创建、数据写入是否正常。
使用CLI工具验证：

3.5 可选配置（性能调优与扩展）

🔹分区策略：
按时间分区（如dt字段）

按范围分区（如id字段）

🔹索引优化：
启用Bloom Filter：

3.6 资源调度与负载均衡
🔹Kubernetes配置:
配置HPA（Horizontal Pod Autoscaler）：
配置Node Affinity：将Paimon工作节点绑定到特定标签的节点（如disk-type=ssd）。

3.7 安全与合规

🔹数据加密:
启用S3服务器端加密（SSE-S3或SSE-KMS）。
配置传输加密：在paimon-site.xml中设置：

🔹审计日志:
启用Fine-Grained Access Control（FGAC），记录所有DDL/DML操作。
配置Log4j2将审计日志发送到ELK或Splunk。

🔹资源调度与负载均衡:

添加数据节点：
在管理控制台中，可进行添加数据节点的操作，包括基础配置，如项目分组、可用性校验等。例如配置MySQL节点，需要填写连接信息等。

策略配置：
可对数据节点进行策略配置，如修改数据节点、激活数据节点、挂起数据节点、删除数据节点以及查看节点日志等。

🔹Paimon数据节点特定配置:
连接配置：
新建弹窗界面选择Paimon节点类型后，显示基本信息配置模板，包括名称（必须填写，50字符限制，是该数据源在DataPipeline的唯一标识，不允许重复）、描述（选填）、项目（必选，默认为“未分组”）、类型（必选）、版本（必选）等。

HDFS配置：
必填，需上传core-site.xml、hdfs-site.xml文件。

数据库配置：
必选，当选择用户权限所有库时，在链路和任务中可以使用连接用户有权限的所有数据库；当指定数据库后，在链路和任务中仅能使用指定的数据库，这里的数据库本质上是一个路径，示例：/hdfs/paimon/test.db。

认证方式：
必选，支持信任认证和Kerberos认证。

连接参数：
输入Paimon JAVA CLIENT连接支持的所有连接参数。

4.1 数据湖平台-功能概览

4.2 数据湖查询中心

4.3 数据湖元数据管理

4.4 增量同步中心

4.5 创建同步作业

4.6 创建同步作业-编辑（MySQL-Paimon）

4.7 创建同步作业-编辑（Kafka-Paimon)

4.8 创建同步作业-编辑（MongoDB-Paimon)

4.9 创建同步作业-编辑（PostgreSQL-Paimon)

4.10 提交CDC作业

4.11 数据湖集群管理

4.12 新增集群

4.13 更新集群

4.14 集群状态检查成功

5.1 验证步骤

🔹功能验证：

• 创建表、写入数据、查询数据，验证结果是否符合预期。
• 测试并发写入（如100个线程同时写入），检查吞吐量和延迟。

🔹性能测试：

• 使用TPC-DS或自定义测试集，评估查询性能。
• 对比不同分区策略和索引配置下的性能差异。

5.2 监控与告警

🔹关键指标：

• 集群健康：paimon_catalog_table_count、paimon_file_store_file_count。

• 性能指标：paimon_query_latency_ms、paimon_write_throughput_rows_per_sec。

🔹告警规则：

• 元数据存储延迟 > 1分钟：触发告警。
• 查询失败率 > 5%：触发告警。