SDP产品版本发布详解
产品名称 海盒大数据平台
版本号 8.2.2
产品发布时间 2025-5-16
产品描述 海盒大数据平台(SDP)集成多种数据存储组件,包括分布式分析型数据库、NoSQL、宽表、文档、图、时序、键值、内存数据库,以及分布式文件系统和对象存储;分布式计算引擎涵盖批处理、实时流计算、联邦查询、多维分析和搜索引擎;同时提供基于这些组件的操作管理、部署运维、任务调度及数据安全等二次开发功能。
海盒大数据平台提供大数据的基础能力,包括分布式存储、分布式计算、分布式分析,集成了多个大数据基础组件,包括数据接入、分布式存储引擎(分布式文件系统、数仓管理、存储服务、消息队列、对象存储管理、内存数据库管理、多集群管理等)、分布式计算引擎(计算资源管理、离线开发、实时开发、列式数据库开发、联邦查询等)、分布式分析引擎(多维分析、交互查询、图数据库分析、数据可视化)、任务调度、数据安全(用户管理/租户管理/项目管理、票据下载、访问管理)和部署运维(集群管理、监控告警、日志中心、反向代理)等多个功能模块。SDP可满足不同规模和业务需求下的湖仓一体和流批计算的大数据处理和分析需求。
升级说明 1、主要针对SUSE 12 SP5操作系统进行适配,同时兼容Kylin V10、Anolis OS 8.6、redhat7.x、centos7.x操作系统
2、元数据同时支持到 mysql8 版本,并适配运行在x86 CPU架构的国产化或非国产化服务器。
功能模块 产品功能模块 模块描述
部署运维 SDP-D 部署运维SDP-D 支持对多个大数据集群中的多个节点进行统一安装部署、系统管理和优化,以提高整个集群的性能和稳定性。SDP二次开发和集成支持的部署运维功能如下:
1.Ambari集群管理
2.Prometheus监控告警
3.LogSearch日志中心
4.Nginx反向代理
根据项目需求必配模块,建议起步2个节点。此模块为基础模块,建议与其他模块搭配使用。
存储引擎管理
SDP-S 存储引擎管理SDP-S 支持业界主流的多种存储模型管理,满足不同业务场景,提高易用性,将各种类型的数据进行集中存储、查询和处理,满足对结构化、半结构化和非结构化数据的统一管理需求。SDP二次开发和集成支持的多模型数据存储类型如下:
1 分布式文件系统 HDFS
2 对象存储 MinIO
3 数仓管理 Hive
4 关系型数据存储 Impala/Kudu
5 表格存储服务/宽表存储 HBase
6 消息队列管理 Kafka
7 内存数据库管理/键值存储 Redis
8 湖仓管理 Iceberg
9 搜索引擎 Elasticsearch
根据项目需求选配模块,建议起步3个节点,加上2个基础模块节点,其中基础模块包含部署运维/数据接入/数据安全/系统管理等功能。
计算引擎管理
SDP-C 计算引擎管理SDP-C 支撑多数据源的流/批/OLAP计算、百万级高吞吐、毫秒级低延时业务需求和海量数据离线计算,可以帮助用户快速开发湖仓一体、流批一体、实时数据仓库、实时报表分析、实时智能推荐、实时欺诈检测与风险控制等应用。SDP二次开发和集成支持的计算引擎如下:
1计算资源管理 Yarn
2 离线开发 Hue/Tez/MapReduce/Spark SQL/Python Notebook/PySpark
3 实时开发 Flink/Dinky
4 分布式列式数据库 Clickhouse
5 联邦查询 Presto
根据项目需求选配模块,建议起步3个节点,加上2个基础模块节点,其中基础模块包含部署运维/数据接入/数据安全/系统管理等功能。
分析引擎管理
SDP-A 分析引擎管理SDP-A 能够在更短的时间内从更多来源利用更多数据,并使用户能够以不同方式协同处理和分析数据,从而做出更好、更快的决策。 SDP二次开发和集成支持的分布式分析引擎如下:
1 多维即席查询 Kylin
2 图数据库分析 OrientDB
根据项目需求选配模块,建议起步3个节点,加上2个基础模块节点,其中基础模块包含部署运维/数据接入/数据安全/系统管理等功能。