openGauss 资源池化多机并行

资源池化多机并行

可获得性

本特性自openGauss 5.1.1 版本开始引入。

特性简介

SPQ（SharedEverything Parallel Query）是在openGauss开源数据库上的一个多机并行查询框架，该框架部署在资源池化场景内，该场景下集群部署的为一写多读架构，集群下存在一个写/读节点和多个读节点，现有openGauss集群只存在同时一个读节点查询的能力，集群的查询性能非常受限。SPQ基于SharedEverything分布式架构，所有节点都共享集群内的资源，优化器首先生成多机执行计划，之后计划通过分发到各节点执行，再由查询节点汇聚各节点数据实现所有读节点并行查询，充分发挥集群的OLAP能力。使资源池化同时具备较强的TP和AP能力。

 

客户价值

客户在读节点执行大规模数据查询时实际上使用的是当前查询节点的算力，其余节点算力没有被有效利用起来。多机并行可以充分利用所有计算节点算力从而大幅提升查询效率。

特性描述

openGauss资源池化一写多读架构通过构建虚拟Node-Group将OLTP业务和OLAP业务隔离，任一个节点均可以发起查询SQL请求。根据代价和规则决定采用多机查询或者原生单机查询，对上层应用透明，用户无感知。为实现上述需求，SPQ在openGauss原有设计基础上，研发以下几项新特性功能：

• 对接开源ORCA优化器，生成SPQ多机并行执行计划，适配后的组件以动态库模式加载至openGauss内核。
• 新增基础扫描算子、计算算子适配多机计划，实现节点间数据交互与数据分发。
• 新增自适应扫描机制消除数据倾