ClickHouse存储引擎之ReplacingMergeTree引擎

ClickHouse ReplacingMergeTree引擎详解

原创

已于 2024-03-05 10:00:08 修改 · 906 阅读

10 ·

CC 4.0 BY-SA版权

文章标签：

#clickhouse

于 2024-03-05 09:49:13 首次发布

本文介绍了ClickHouse的ReplacingMergeTree引擎，用于实现数据去重。它在MergeTree基础上增加去重功能，仅在合并分区时删除重复数据。文章通过示例详细解释了如何创建表并设置ver参数，展示了不同参数设置下的去重策略，强调了数据去重的分区依赖性和去重策略的选择。

一、ReplacingMergeTree作用

ClickHouse中最常用也是最基础的表引擎为MergeTree，在它的功能上添加特定功能就构成了MergeTree系列引擎。MergeTree支持主键，但主键主要用来缩小查询范围，且不具备唯一性约束，可以正常写入相同主键的数据。但在一些情况下，可能需要表中没有主键重复的数据。ReplacingMergeTree就是在MergeTree的基础上加入了去重的功能，但它仅会在合并分区时，去删除重复的数据，写入相同数据时并不会引发异常。

二、功能示例

创建一张ReplacingMergeTree的表和创建MergeTree类似，修改引擎即可。ReplacingMergeTree引擎创建规范为：ENGINE = ReplacingMergeTree([ver])，其中ver为选填参数，它需要指定一个UInt8/UInt16、Date或DateTime类型的字段，它决定了数据去重时所用的算法，如果没有设置该参数，合并时保留分组内的最后一条数据；如果指定了该参数，则保留ver字段取值最大的那一行。

1、不指定ver参数

-- 创建未指定ver参数ReplacintMergeTree引擎的表
CREATE TABLE replac_merge_test
(
    `id` String, 
    `code` String, 
    `create_time` DateTime
)
ENGINE = ReplacingMergeTree()
PARTITION BY toYYYYMM(create_time)
PRIMARY KEY id
ORDER BY (id, code)

ReplacingMergeTree会根据ORDER BY 所声明的表达式去重。

-- 在上述表中插入数据
insert into replac_merge_test values ('A000', 'code1', now()),('A000', 'code1', '2020-07-28 21:30:00'), ('A001', 'code1', now()), ('A0

最低0.47元/天解锁文章