腾讯 TDSQL for PostgreSQL 产品介绍

最新推荐文章于 2023-11-14 10:36:37 发布

转载最新推荐文章于 2023-11-14 10:36:37 发布 · 1.7k 阅读

2 ·

CC 4.0 BY-SA版权

原文链接：https://cloud.tencent.com/document/product/1129

文章标签：

#postgresql #数据库 #database #TDSQL #分布式数据库

DB/数据库专栏收录该内容

25 篇文章

订阅专栏

TDSQLPostgreSQL版是腾讯的分布式数据库系统，支持高扩展性和SQL高兼容度，具备完整的分布式事务支持。它采用无共享架构，提供容灾、备份、恢复、监控等解决方案，适用于大规模HTAP场景。产品亮点包括HTAP事务和分析双引擎、多核并行计算、数据安全保障和多级容灾功能。此外，还支持地理信息系统、JSON、FDW等周边生态，提供高效分布式JOIN计算和冷热数据分级存储。

产品概述

TDSQL PostgreSQL版（TDSQL for PostgreSQL）是腾讯自主研发的分布式数据库系统。TDSQL PostgreSQL版集高扩展性、SQL 高兼容度、完整的分布式事务支持、多级容灾及多维度资源隔离等功能于一身，采用无共享的集群架构，提供容灾、备份、恢复、监控、安全、审计等全套解决方案，适用于 GB级 - PB级的海量 HTAP 场景。

HTAP 事务和分析双引擎

事务和分析混合处理技术（Hybrid Transactional/Analytical Processing，HTAP）要求资源诉求矛盾的两种业务类型在同一个数据库实例中完成处理。传统的数据库因各方面的限制，偏向于 OLTP 或 OLAP 的场景，两者很难兼得。【TDSQL for PostgreSQL】经过专门的设计能很好的支持 HTAP，同时具备高效的 OLTP 处理能力和专业的 OLAP 能力，降低业务复杂度和成本。

【TDSQL for PostgreSQL】在集群的协调节点（Coordinator Node，CN）提供 OLTP 和 OLAP 两个平面视角。OLTP 业务运行在存存储节点（Datanode，DN）的主节点，OLAP 业务运行在 DN 的备节点，二者数据同步采用流复制的方式。内核优化器会根据查询所在的平面选用对应的优化器，同时 OLTP 和 OLAP 平面针对不同的负载采用合适的存储格式。

多周边生态支持

【TDSQL for PostgreSQL】具有丰富的周边生态：

支持强大的地理信息系统（GIS）。通过集群化的 PostGis 插件，支持存储空间地理数据，使 TDSQL PostgreSQL版成为一个空间数据库，能够通过 SQL 语言高效的进行空间数据管理、数量测量和几何拓扑分析。
【TDSQL for PostgreSQL】不仅是一个分布式关系型数据库系统，同时还支持非关系数据类型 JSON。
支持 Foreign Data Wrappers（FDW）功能，该功能实现了部分的 SQL/MED 规定，允许用户使用普通 SQL 查询来访问位于 PostgreSQL 之外的数据。

FDW 功能提供一套编程接口，用户可进行插件式的二次开发，建立外部数据源和数据库间的数据通道。大多数情况下用户可用 oracle_fdw、mysql_fdw、postgres_fdw，非关系型数据库的 redis_fdw、mongodb_fdw，以及大数据的 hive_fdw、hdfs_fdw 等。基于 FDW 功能和已有插件，TDSQL PostgreSQL版提供强大的数据库联邦能力，通过 TDSQL PostgreSQL版能够访问已有的多个数据源的数据。

产品功能

$ 高效分布式 JOIN 计算

业务分析场景，通常会有2个或多个表关联（JOIN）的逻辑，此逻辑在单机模式中是一个简单的操作，但在集群模式下，由于数据分布在1个或多个物理节点中，处理会相对复杂。在很多分布式解决方案中，JOIN 会把数据拉取到一个节点，进行关联计算，不仅耗费了大量网络资源，且语句的执行耗时会很高。

【TDSQL for PostgreSQL】通过如下方式对对分布式 JOIN 进行高效计算，基于高效的全局查询计划和数据重分布的技术支撑，【TDSQL for PostgreSQL】能轻易发挥并行计算的优势，高效完成 JOIN 过程。

在执行方式上，协调节点（ＣＮ）接收到用户的 SQL 请求，根据收集的集群统计信息，生成最优的集群级分布式查询计划，并下发到参与计算的数据节点（DN）上进行执行，即协调节点下发的是执行计划，数据节点负责执行该计划。
在数据交互上，数据节点之间建立了高效数据交换通道，可以高效的交换数据，数据交换的过程在【TDSQL for PostgreSQL】里称之数据重分布（Data Redistribution）。

$ 多核并行计算

【TDSQL for PostgreSQL】在节点内部采用了并行计算，同时启动多个进程来协同完成一个查询，可充分利用服务器的多核处理能力来快速、高效地完成查询。通常情况下，

会启动多个进程来完成查询，查询时间会大大缩短，如果有更多的资源可供使用，查询时间则会呈线性优化。
会根据查询表大小来决定是否进行并行查询，表的数据量超过阈值后，才会采用并行计算，当需要并行计算时，会根据表大小得出并行度，即需要的进程个数。

$ 数据安全保障功能

数据加密

【TDSQL for PostgreSQL】提供两种数据加密方式：

业务侧加密：业务调用【TDSQL for PostgreSQL】内置的加密函数，将加密结果写入数据库，正常读取的也是加密后的数据，然后在应用里执行解密。
【TDSQL for PostgreSQL】内置加密：加密过程对业务侧透明，优点如下：
- 加密操作（函数调用）与业务侧解耦合，业务只负责写入原始数据到数据库内核，后续的加密计算在数据库内部完成，从而业务侧操作上无感知。
- 加密算法由数据库维护，包括加密算法的选择、密钥管理，都由安全员独立操作完成。
- 支持的加密算法有 AES128、AES192、AES256、国密SM4。

数据脱敏

【TDSQL for PostgreSQL】支持透明数据脱敏功能，在用户无感知的情况下，对非授权用户返回被脱敏的数据。

全方位审计

【TDSQL for PostgreSQL】从多个维度提供全方位的审计能力，审计采用旁路检测方式，对数据库运行影响极小。审计类型如下：

语句审计：针对某一种特定的语句进行审计。
对象审计：针对某个数据库对象的操作进行审计。
用户审计：针对某个数据库用户的操作进行审计。
细粒度审计（Fine-Grained Audit，FGA）：高级审计选项，使用表达式来作为审计条件，可设置审计被触发时的动作，例如，发邮件、打电话等。

$ 数据治理功能

数据治理包括数据倾斜的治理和冷热数据分级存储。

数据倾斜的治理：用以解决数据分布不均带来的存储及性能压力。
冷热数据分级存储：用以降低业务的存储成本、提升热数据的性能。

数据倾斜治理

该方案首先把系统的 DN 分为 group，每个 group 包含一个或多个 DN；每个 group 有一个 shardmap；建 sharded 表时，可以指定存储的 group；CN 可以访问所有的 group，且 CN 上存储所有表的访问方式信息。

对于系统中数据量较大的用户进行特别识别，并为其创建白名单，使用不同的数据分布逻辑：

普通用户使用默认的数据分布逻辑，即 Shardid = Hash(merchantid) % #shardmap。
大用户使用定制的数据分布逻辑，即 Shardid = Hash(merchantid) % #shardmap + fcreate_time dayoffset from 1970-01-01，通过在大用户 group 分布逻辑中加入日期偏移，实现同一个用户的数据在 group 内部多个节点间均匀分布，从而有效解决数据分布不均匀问题。

冷热数据分离

内核原生支持数据的冷热分离，业务无需感知底层存储介质的不同，对外提供统一的数据库视图。

冷热数据使用不同的节点 group 存储，节点组内部使用的物理机型配置不同，从而达到冷热分离节省成本的目的。
后台定时任务根据用户配置的冷热数据规则，自动进行数据迁移，系统即可实现自动的冷热分离，业务无需关心集群的冷热数据存储情况。

$ 多级容灾功能

【TDSQL for PostgreSQL】在多个维度保证集群的容灾能力：

强同步复制

【TDSQL for PostgreSQL】支持强同步复制，在节点级保证每个节点的主从数据完全一致，是整个容灾体系的基础，当主节点（Master）发生故障时，数据库可切换到从节点（Slave）提供服务且无任何数据丢失。强同步机制要求用户请求发生并且从节点写入日志成功后，才给用户返回成功信息，保证主从节点的数据时刻一致。

主从高可用

【TDSQL for PostgreSQL】主从高可用方案主要通过每组节点的多副本冗余，来实现服务不中断或很短时间的中断，当一组节点的主节点出现故障不可恢复，将自动从对应的备节点中选出新的主节点工作。在主从高可用基础上【TDSQL for PostgreSQL】支持：

故障自动转移：集群中主节点故障时，系统自动从对应的从节点中选出新的主节点，故障节点自动被集群隔离，基于强同步复制策略，主从切换保证主从数据完全一致，可满足金融级数据一致性要求。
故障恢复：备节点因磁盘故障导致数据丢失时，数据库管理员（DBA）可以通过重做备机来恢复备机，可选择在新的物理节点上添加备机来恢复主从备份关系，保证系统可靠性。
副本切换：每组主从节点（可以是1主 N 从）的每个节点都包含完整的数据副本，DBA 可根据需求进行切换。
设置禁止切换：即可设置在某一特殊时期，不处理故障转移。
跨可用区部署：主节点和从节点分处于不同机房，通过专线网络进行实时的数据复制。本地为主节点，远程为从节点，首先访问本地节点，若本地主节点发生故障或访问不可达，则远程的从节点升为主节点提供服务。

【TDSQL for PostgreSQL】支持基于强同步的高可用方案，主节点故障时将自动选出最优从节点立即顶替工作，切换过程对用户透明，且不改变访问 IP。【TDSQL for PostgreSQL】对系统组件支持7 * 24小时持续监控，发生故障时，【TDSQL for PostgreSQL】将自动重启节点或者隔离节点，从从节点选出新主节点提供服务。