[openGauss] 行列转换

[openGauss] 行列转换

可获得性

本特性自openGauss 6.0.0 LTS 版本开始引入。

特性简介

行列转换特性在主备场景下，通过备节点的行列双格式内存模式，实现openGauss HTAP一体化数据库架构。通过高效行列转换技术方案，备节点同步主节点在OLTP场景下大量的行数据变更至列缓存；并支持备节点通过列缓存查询，从而提升大型复杂OLAP场景下的数据分析，使数据库同时具备较强的TP和AP能力。

图 1 主备场景行列转换特性设计方案

客户价值

通过在备节点的内存行列双格式存储，有效利用备节点可用内存空间进行行存数据的列缓存转换及存储（InMemory-CStore）。考虑列存的存储优势，在大表数据且用户仅关注部分列数据的查询的场景下，行列转换后的列缓存可有效提升客户在备节点执行大型复杂OLAP数据分析的整体查询效率。

特性描述

openGauss主备集群场景下，我们支持备节点形成行列双格式内存形式。针对主节点的行级修改，备节点通过日志同步主节点修改，将对应修改写入增量表中。同时，备节点后台启动的同步线程，将增量表中存储的行存修改同步至列存缓存中。用户在备节点发起的OLAP大型数据分析请求，将先通过逻辑判断是否已有查询表的列缓存数据，并根据代价计算形成基于列缓存的查询计划。

• 行列数据转换：

  用户在主节点发送针对表数据的行列转换请求（IMCSTORED），将通过网络通道将指令传输至备节点；备节点根据指令信息初始化增量表，并行读取行存数据，形成基础列存储单元（Column Unit），批量插入申请的列存内存中。

• 基于日志的行列数据同步：

  为了不影响主节点行存数据修改效率，且同时保证备节点列缓存数据新鲜度，设计备节点基于日志读取回放行存修改，以增量表及后台同步线程的方式进行列缓存数据的更新。

• 支持列缓存的扫描查询：

  新增InMemoryCstoreScan (Imcs scan)算子，基于openGauss执行优化器及代价估算，生成包含列缓存查询的执行计划。

特性增强

无。

特性约束

行列转换的规格约束如下：

• 表：仅支持普通表的行列转换，临时表、系统表、Toast表、Unlogged表、行压缩表暂不支持。

• 数据类型：参考列存表支持的数据类型。

• 其他

  • 不支持内存表（MOT）使用。
  • 当前仅在单数据库下支持行列转换。
  • 主备场景下，由主节点发起行列转换请求，所有备节点均执行行列转换，主节点不存储列缓存。
  • 主备场景下，主节点引起的数据修改，在备节点通过列缓存查询存在一定延迟。

依赖关系

无。

详情查看：https://opengauss.org

详情查看：https://docs-opengauss.osinfra.cn