从 Postgres 到 ClickHouse：数据建模指南

最新推荐文章于 2025-04-20 10:27:40 发布

原创

最新推荐文章于 2025-04-20 10:27:40 发布 · 1.4k 阅读

11 ·

CC 4.0 BY-SA版权

文章标签：

#clickhouse

本文字数：7149；估计阅读时间：18 分钟

作者：Sai Srirampur

本文在公众号【ClickHouseInc】首发

上个月，我们收购了专注于 Postgres CDC 的 PeerDB。PeerDB 使得数据从 Postgres 复制到 ClickHouse 变得既快速又简单。PeerDB 的用户经常会问，在数据复制到 ClickHouse 后，如何进行数据建模以充分发挥 ClickHouse 的优势。

这一问题的产生源于 ClickHouse 和 Postgres 在数据建模上的差异。两者分别为各自特定的工作负载量身打造——Postgres 是事务型（OLTP）数据库，而 ClickHouse 则是专注于分析的列式（OLAP）数据库。本指南将帮助来自 Postgres 的用户掌握在 ClickHouse 中关键的数据建模概念。这是该系列博客的第一篇，更多内容将在未来发布。

ReplacingMergeTree 表引擎

PeerDB 使用 ReplacingMergeTree 引擎将 PostgreSQL 表映射到 ClickHouse。ClickHouse 在追加写入的场景下表现最佳，并不推荐频繁的 UPDATE 操作，而 ReplacingMergeTree 正是专为此类需求而设计的。

ReplacingMergeTree 支持既包含数据导入又包含数据修改的工作负载。每个表都是追加写入的，用户的更新会作为带有版本号的 INSERT 记录。ReplacingMergeTree 引擎在后台自动处理行数据的去重和合并。这是 ClickHouse 能够在实时数据导入方面表现出色的关键原因之一。

在 PeerDB 中，Postgres 的 INSERT 和 UPDATE 操作会以不同版本（使用 _peerdb_version）的新行形式写入 ClickHouse。ReplacingMergeTree 表引擎会定期通过排序键（ORDER BY 列）在后台处理去重，保留最新版本的行。而 PostgreSQL 的 DELETE 操作则会作为标记为已删除的新行（通过 _peerdb_is_deleted 列）进行处理。下方代码片段展示了 ClickHouse 中 public_goals 表的目标表定义。

clickhouse-cloud :) SHOW CREATE TABLE public_goals;
CREATE TABLE peerdb.public_goals
(
    `id` Int64,
    `owned_user_id` String,
    `goal_title` String,
    `goal_data` String,
    `enabled` Bool,
    `ts` DateTime64(6),
    `_peerdb_synced_at` DateTime64(9) DEFAULT now(),
    `_peerdb_is_deleted` Int8,
    `_peerdb_version` Int64
)
ENGINE = SharedReplacingMergeTree
('/clickhouse/tables/{uuid}/{shard}', '{replica}', _peerdb_version)
PRIMARY KEY id
ORDER BY id
SETTINGS index_granularity = 8192