海盒大数据平台SDP8.2产品版本发布详解

SDP产品版本发布详解
产品名称 海盒大数据平台
版本号 8.2
产品发布时间 2024-9-14
产品描述 海盒大数据平台（SDP）提供大数据基础能力，旨在帮助企业和组织高效地存储、处理和分析海量数据，从而提高决策效率和业务洞察能力。SDP集成和二次开发了多个大数据基础组件，包括数据接入、分布式存储引擎（HDFS分布式文件系统、Hive数仓管理、HBase存储服务、Kafka消息队列、MinIO对象存储管理、Redis内存数据库管理、ES多集群管理等）、分布式计算引擎(Yarn计算资源管理、Hue离线开发、Flink实时开发、Clickhouse列式数据库开发、联邦查询等）、分布式分析引擎（Kylin多维分析、Solr实时检索、Spark MLib机器学习、Spark GraphX图分析）、数据安全（FreeIPA/LDAP/用户管理/租户管理/项目管理、Kerberos票据下载、Ranger访问管理）和部署运维（Ambari集群管理、Prometheus监控告警、LogSearch日志中心、Nginx反向代理）等多个功能模块。SDP可满足不同规模和业务需求下的湖仓一体和实时计算的大数据处理和分析需求。

升级说明 1、工作台模块
1）新增架构设计列表，展示产品架构设计模块及内容
2）升级审批管理功能
3）升级消息通知功能
2、分布式存储引擎
1）新增HBase表格存储服务，功能主要包括：HBase概览，HBase命名空间，HBase表管理，HBase标签管理，HBase表数据，HBase快照管理，HBase SQL脚本开发，Hbase Schema管理
2）新增Kafka消息队列，功能主要包括：Kafka物理集群接入，Kafka集群详情，Kafka kafka Broker管理，Kafka Topic管理，Zookeeper管理，kafka Consumer管理等
2）新增MinIO对象存储管理，功能主要包括：MinIO对象操作，MinIO对象策略，MinIO对象监测（MinIO概览、MinIO对象追踪、MinIO桶监控），MinIO对象存储设置等。
3）新增Elasticsearch搜索引擎，功能主要包括ES仪表盘，ES物理集群，ES模板服务，ES索引管理，ES索引服务，ES DSL查询，ES SQL查询，ES查询模板，ES查询诊断，ES集群看板，ES网关看板，ES应用管理等。
3、分布式计算引擎
新增Clickhouse列式数据库开发，功能主要包括界面化sql操作ClickHouse,支持对库表管理，表结构详情查询，数据预览，查询sql记录管理等

功能模块 产品功能模块 模块描述
部署运维 SDP-D 部署运维SDP-D 支持对多个大数据集群中的多个节点进行统一安装部署、系统管理和优化，以提高整个集群的性能和稳定性。SDP二次开发和集成支持的部署运维功能如下：
1.Ambari集群管理
2.Prometheus监控告警
3.LogSearch日志中心
4.Nginx反向代理

根据项目需求必配模块，建议起步2个节点。此模块为基础模块，建议与其他模块搭配使用。
存储引擎管理
SDP-S 存储引擎管理SDP-S 支持业界主流的多种存储模型管理，满足不同业务场景，提高易用性，将各种类型的数据进行集中存储、查询和处理，满足对结构化、半结构化和非结构化数据的统一管理需求。SDP二次开发和集成支持的多模型数据存储类型如下：
1 分布式文件系统 HDFS
2 对象存储 MinIO
3 数仓管理 Hive
4 关系型数据存储 Impala/Kudu
5 表格存储服务/宽表存储 HBase
6 消息队列管理 Kafka
7 内存数据库管理/键值存储 Redis
8 湖仓管理 Iceberg
9 搜索引擎 Elasticsearch

根据项目需求选配模块，建议起步3个节点，加上2个基础模块节点，其中基础模块包含部署运维/数据接入/数据安全/系统管理等功能。
计算引擎管理
SDP-C 计算引擎管理SDP-C 支撑多数据源的流/批/OLAP计算、百万级高吞吐、毫秒级低延时业务需求和海量数据离线计算，可以帮助用户快速开发湖仓一体、流批一体、实时数据仓库、实时报表分析、实时智能推荐、实时欺诈检测与风险控制等应用。SDP二次开发和集成支持的计算引擎如下：
1计算资源管理 Yarn
2 离线开发 Hue/Tez/MapReduce/Spark SQL/Python Notebook/PySpark
3 实时开发 Flink/Dinky
4 分布式列式数据库 Clickhouse
5 联邦查询 Presto

根据项目需求选配模块，建议起步3个节点，加上2个基础模块节点，其中基础模块包含部署运维/数据接入/数据安全/系统管理等功能。