梧桐云原生分析型数据库在电信行业解决方案

梧桐云原生分析型数据库在电信行业大数据分析领域解决方案

1、梧桐云原生分析型数据库建设方案

1.1、梧桐云原生分析型数据库规划

        根据某某公司本地BOM三域业务的使用情况，规划建设“1+N+1”存算分离的梧桐数仓集群。分别表示“一套物理集群”、”多个计算逻辑子集群”、“一套共享存储集群”。
        计算子集群包含主数仓、数据集市、开发库、考核库等子集群。存储集群采用HDFS文件系统。具体梧桐云原生分析型数据库架构如下表所示：

梧桐数仓架构说明：

序号	类型	规模	设备型号	备注
1	梧桐云原生分析型数据库-MASTER节点+NGINX节点	5	B1	梧桐云原生分析型数据库连接和负载均衡
2	梧桐云原生分析型数据库-元数据节点	3	B1	元数据存储
3	梧桐云原生分析型数据库-计算节点-子集群1	64	C3	业务计算
4	梧桐云原生分析型数据库-计算节点-子集群2	16	C3	业务计算
5	梧桐云原生分析型数据库-计算节点-子集群3	8	C3	人员计算
6	LAVA节点	2	B1	SQL控制台和监控节点
7	梧桐云原生分析型数据库-备用节点	2	C3	计算节点的备用节点
8	HDFS存储-管理节点	3	B1	HDFS管理节点
9	HDFS存储-数据节点	75	B2	数据存储节点

1.2、管理节点

管理集群用于管理客户端连接、资源分配、权限检查和负载均衡，主要包含以下组件：
第一、资源管理器
        资源管理器负责整个集群的资源管理。资源管理模块能够感知集群健康状态，动态识别集群节点。协调并发查询之间的资源分配，避免查询之间相互影响，提升系统的可用性。

第二、查询解析器
        负责解析查询，并检查语法及语义。最终生成查询树传递给优化器。

第三、分析器
        针对语法树结构进行检查，对语法树进行数据补充或者必要的优化改进，在 WuTongDB 中分析器和查询解析器是合并的。

第四、优化器
        负责接受查询树，生成查询计划。针对一个查询，可能有数亿个可能的等价的查询计划，但执行性能差别很大。优化器的作用是找出优化的查询计划。

第五、容错服务
        负责检测哪些节点可用，哪些节点不可用。不可用的机器会被排除出资源池。

第六、事务管理
        提供分布式事务的控制能力，WuTongDB 能够提供基于多版本的事务隔离机制。

第七、权限安全
        负责控制用户的行为，对用户权限进行约束，保障数据库访问安全。

第八、调度器
        优化器优化完查询以后，查询派遣器派遣计划到各个节点上执行，并协调查询执行的整个过程。查询派遣器是整个并行系统的粘合剂。

1.3、元数据节点

        存储梧桐云原生分析型数据库元数据，采用分布式Magma存储,相对于传统MPP数据库，元数据没有存储容量限制，不会由于元数据容量过大导致整个系统性能急剧下降。

1.4、计算集群

计算集群是梧桐云原生分析型数据库的计算层，根据业务属性可灵活划分计算集群，目前规划子集群1、子集群2、子集群3，每个子集群物理隔离，集群内的数据共享。

1.5、存储集群

存储集群采用原生的HDFS文件系统或其他产品的HDFS，