ClickHouse 之 ReplacingMergeTree

最新推荐文章于 2024-11-03 12:32:12 发布

许则则的大数据笔记

最新推荐文章于 2024-11-03 12:32:12 发布

阅读量1k

点赞数

分类专栏： ClickHouse 文章标签： olap

本文链接：https://blog.youkuaiyun.com/weixin_42511070/article/details/120694558

版权

ClickHouse 专栏收录该内容

3 篇文章

订阅专栏

设计为相同分区的数据进行数据去重。

特点

使用ORDER BY排序键作为唯一键
以分区为单位进行去重，只在分区合并时触发
如果参数没设置列，则保留重复数据的最后一行

使用

CREATE TABLE replace_table
(
    id   String,
    code String,
    time DateTime
) ENGINE = ReplacingMergeTree(time) 
PARTITION BY toYYYYMM(time)
ORDER BY (id, code) 
PRIMARY KEY id;

INSERT INTO replace_table
VALUES ('001', 'C1', toDateTime('2021-09-21 14:00:00')),
       ('001', 'C1', toDateTime('2021-09-22 15:00:00')),
       ('001', 'C1', toDateTime('2021-09-21 19:00:00')),
       ('001', 'C2', toDateTime('2021-09-22 17:00:00')),
       ('002', 'C3', toDateTime('2021-09-23 15:00:00'));