[openGauss]并行逻辑解码

原创已于 2024-08-22 09:21:55 修改 · 503 阅读

9 ·

CC 4.0 BY-SA版权

文章标签：

#数据库 #开源

于 2024-08-22 09:21:06 首次发布

并行逻辑解码

可获得性

本特性自openGauss 3.0.0版本开始引入。

特性简介

支持多线程并行解码。

客户价值

大幅提升逻辑解码性能，解码速度由3~5MBps可提升到标准场景（16核CPU、内存128G、网络带宽 > 200MBps、表的列数为10~100、单行数据量0.1KB~1KB、DML操作以insert为主、不涉及落盘事务即单个事务中语句数量小于4096）下的100MBps。

特性描述

在使用JDBC或pg_recvlogical解码时，设置配置选项parallel-decode-num为大于1且小于等于20的值，开启并行解码特性，使用一个读取线程、多个解码线程以及一个发送线程协同进行逻辑解码操作，显著提升解码速度。

特性增强

无。

特性约束

当前的硬件和网络环境正常；由于逻辑日志一般为xlog的两倍，为保证xlog速度达到100MBps，I/O带宽至少保证200MBps；因为reader、decoder、sender线程均需预留资源，CPU需预留并发数+2的核数，如4并发场景需要预留6核。在实际场景中，使用备机解码即可保证需求，无需进行特殊的资源预留规划。为保证解码性能达标以及尽量降低对业务的影响，一台备机上应尽量仅建立一个并行解码连接，保证CPU、内存、带宽资源充足。
日志级别的guc参数wal_level = logical。
guc参数max_replication_slots >= 每个DN所需的（物理流复制槽数+备份槽数+逻辑复制槽数）。
解码配置选项parallel-decode-num > 1且<= 20，指定并行的解码线程数。
不支持DDL语句解码。
不支持列存、数据页复制的解码。
不支持解码分布式事务，当前机制为从DN解码，无法保证分布式事务一致性解码。
单条元组大小不超过1GB，考虑解码结果可能大于插入数据，因此建议单条元组大小不超过500MB。
不支持压缩表的DML语句解码。
openGauss支持解码的数据类型为：INTEGER、BIGINT、SMALLILNT、TINYINT、SERIAL、SMALLSERIAL、BIGSERIAL、FLOAT、DOUBLE PRECISION、DATE、TIME[WITHOUT TIME ZONE]、TIMESTAMP[WITHOUT TIME ZONE]、CHAR(n)、VARCHAR(n)、TEXT。
在需要ssl连接的场景，需要前置条件保证guc参数ssl = on。
不支持interval partition表复制。
在事务中执行DDL语句后，该DDL语句与之后的语句不会被解码。
如需进行备机解码，需在对应主机上设置guc参数enable_slot_log = on。
当前不支持超大CLOB解码。
不允许主备，多个备机同时使用同一个复制槽解码，否则会产生数据不一致。
禁止在使用逻辑复制槽时在其他节点对该复制槽进行操作，删除复制槽的操作需在该复制槽停止解码后执行。