GBase 8a MPP 并行计算技术

GBase 8a MPP Cluster采用非对称联邦架构,支持300+节点部署,处理30PB以上数据。其特点包括分布式并行计算、高可用性、高性能扩展和数据加载能力,以及多租户隔离。通过MPP技术,提供高效执行计划、数据冗余、节点故障透明切换和在线扩展能力,确保业务连续性和性能线性提升。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

GBase 8a MPP Cluster为非对称部署的联邦架构,GCluster Cluster和 GCware Cluster单独部署为一个集群,最大节点数为64,GNode Cluster单独部署为一个集群,支持300个以上的节点部署,可处理30PB以上的结构化数据。

大规模并行计算

GBase 8a MPP Cluster采用MPP技术,主要特点有:

  1. 分布式并行计划器,结合集群特征,对算子行进分布式处理,生成适合的分布式执行计划;
  2. 通过基于规则和基于代价的优化,保证执行计划的高效;
  3. 调度器采用异步IO等技术,确保调度的高效、可靠;

高可用能力

GBase 8a MPP Cluster通过冗余机制来保证集群的高可用特性:

  1. 可提供1个或2个副本数据冗余;
  2. 副本间数据自动同步;
  3. 复制引擎自动管理数据同步;
  4. 多分片机制降低节点故障的木桶效应;
  5. 节点发生故障时,系统自动切换至其它节点进行工作,保证业务连续性;
  6. 支持双活集群部署。

集群副本数和分片数可进行灵活配置,可配置副本分片到集群的任意一个节点上,可以根据配置在主机性能高和存储空间大的节点分配更多的主本和副本。

当节点出现异常时,可以将异常服务器的负载均匀分布在副本所在的几台正常的服务器上。这样就最大限度防止由于故障切换后木桶效应而引起的显著的性能抖动。

节点故障对应用透明,不会中断正在执行业务,一旦故障结点恢复正常,GBase 8a MPP Cluster会从其他节点上的数据恢复该节点数据,在完成更新后立即提供服务。

高性能扩展能力

GBase 8a MPP Cluster能够通过增加服务器节点对系统的计算和存储能力进行扩容,且扩展过程可进行监控、暂停、恢复、取消等灵活的监控及管理;系统支持在线扩展,性能线性提升,无需中断当前系统的运行,且支持一次扩展多个节点;可支持实例级、库级、表级等多级别灵活扩展方式。

GBase 8a MPP Cluster具备高性能扩展能力:

  1. 在线动态扩展集群节点;
  2. 每个节点可以处理100TB有效数据,同时提供计算和存储能力;
  3. 执行调度节点和数据计算节点可以按需独立扩展。

最后一个“执行调度节点”和“数据存储及计算节点”是在原有节点基础上新扩展的节点,可以扩展调度节点,也可以扩展存储和算子节点。因为GBase 8a MPP Cluster采用高性能单节点MPP架构,因此进行集群扩展时,可以保证平滑扩展和性能的线性增长特性



高性能数据加载能力

GBase 8a MPP Cluster数据加载功能实现了所有数据运算节点并行处理数据及复本转发技术,具备很高的加载性能:

1)在单台数据服务器的情况下,集群加载可以达到数据服务器硬件资源性能的上限;

2)随着数据服务器和集群节点数的增加,集群加载性能可以持续提升。

多租户能力

GBase 8a MPP Cluster可以通过虚拟集群技术实现租户间的物理或者逻辑隔离。

在虚拟集群内,通过资源管理和资源组灵活配置不同应用和用户的资源配额和查询优先级,同时在完善的权限授权管理机制下,使得不同的应用以及不同类型的任务可以同时运行在一个集群中,但它们相互之间又得到必要的隔离,就好象运行在透明的“沙箱”一样。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值