clickhouse重复数据处理

最新推荐文章于 2025-05-30 09:09:21 发布

winsanity

最新推荐文章于 2025-05-30 09:09:21 发布

阅读量6.9k

点赞数 3

CC 4.0 BY-SA版权

分类专栏： clickhouse 文章标签： database

本文链接：https://blog.youkuaiyun.com/winsanity/article/details/120987298

clickhouse 专栏收录该内容

5 篇文章

订阅专栏

本文介绍了ClickHouse中如何处理重复数据，重点讲解了ReplacingMergeTree引擎的作用，它在数据合并时能删除重复行，但仅限于同一分区，并依赖于orderby排序键。通过创建ReplacingMergeTree表、插入数据、手动触发优化合并以及查询结果，展示了去重的过程和效果。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

clickhouse重复数据处理

1.重复数据产生原因

正常我们使用MergeTree引擎创建表，虽然MergeTree拥有主键，但是它的主键没有唯一键的约束，这就意味着即便多行数据的主键相同，它们还是能够被正常写入。这里如果需要去重，可以使用 ReplacingMergeTree，它能够在合并分区时删除重复的数据，但是只能对同一分区的数据去重，且去重依据是order by排序键。

2.使用ReplacingMergeTree引擎创建表

create table replace_test(
id String,
code String,
create_time DateTime
)ENGINE = ReplacingMergeTree()
PARTITION BY toYYYYMM(create_time)
ORDER BY (id,code)
PRIMARY key id;

3.插入测试数据

insert into replace_test values ('1','tracy','2020-12-17 21:18:00');

insert into replace_test values ('1','tracy','2020-12-17 21:19:00');

insert into replace_test values ('1','tracy','2020-12-17 21:20:00');

insert into replace_test values ('2','monica','2020-12-17 21:18:00');

insert into replace_test values ('2','monica','2020-12-17 21:19:00');