ClickHouse（十三）：Clickhouse MergeTree系列表引擎 - ReplicingMergeTree

最新推荐文章于 2026-01-07 15:36:30 发布
原创 最新推荐文章于 2026-01-07 15:36:30 发布 · 1k 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#clickhouse #实时数仓 #数据仓库 #olap #大数据

本文介绍了ClickHouse的ReplacingMergeTree表引擎，用于解决相同主键数据的去重问题。在分区合并时，ReplacingMergeTree能删除重复数据，但不能确保完全去重。其去重依据是ORDER BY字段而非PRIMARY KEY，并且仅在同一分区内去重。文章通过建表语句解释和多个示例，详细阐述了如何配置和使用ReplacingMergeTree。

 进入正文前，感谢宝子们订阅专题、点赞、评论、收藏！关注IT贫道，获取高质量博客内容！

🏡个人主页：含各种IT体系技术，IT贫道_Apache Doris,大数据OLAP体系技术栈,Kerberos安全认证-优快云博客

📌订阅：拥抱独家专题，你的订阅将点燃我的创作热情！

👍点赞：赞同优秀创作，你的点赞是对我创作最大的认可！

⭐️ 收藏：收藏原创博文，让我们一起打造IT界的荣耀与辉煌！

✏️评论：留下心声墨迹，你的评论将是我努力改进的方向！

目录

1. ReplaceingMergeTree建表语句

2. 示例

2. 1测试去重按照Order by 字段进行去重，而不是按照primary 主键字段进行去重。

2.2 测试不指定[ver]列时，插入相同排序字段的数据，保留最新一条数据。

2.3 测试不同分区中有相同的Order by 字段时，不去重。

以上MergeTree不能对相同主键的数据进行去重，ClickHouse提供了ReplacingMergeTree引擎，可以针对同分区内相同主键的数据进行去重，它能够在合并分区时删除重复的数据。值得注意的是，ReplacingMergeTree只是在一定程度上解决了数据重复问题，由于自动分区合并机制在后台定时执行，所以并不能完全保障数据不重复。ReplacingMergeTree 适用于在后台清除重复的数据以节省空间。

1. ReplaceingMergeTree建表语句

CREATE TABLE [IF NOT EXISTS] [db.]table_name [ON CLUSTER cluster]

(

    name1 [type1] [DEFAULT|MATERIALIZED|ALIAS expr1],

    name2 [type2] [DEFAULT|MATERIALIZED|ALIAS expr2],

    ...

) ENGINE
了解本专栏 订阅专栏 解锁全文
ClickHouse（十一）：Clickhouse MergeTree系列表引擎 - MergeTree（1）
qq_32020645的博客
08-05 852
🏡个人主页：含各种IT体系技术，📌订阅：拥抱独家专题，你的订阅将点燃我的创作热情！✏️评论：留下心声墨迹，你的评论将是我努力改进的方向！在所有的表引擎中，最为核心的当属MergeTree系列表引擎，这些表引擎拥有最为强大的性能和最广泛的使用场合。对于非MergeTree系列的其他引擎而言，主要用于特殊用途，场景相对有限。而MergeTree系列表引擎是官方主推的存储引擎，有主键索引、数据分区、数据副本、数据采样、删除和修改等功能，支持几乎所有ClickHouse核心功能。
大数据ClickHouse（十三）：MergeTree系列表引擎之VersionedCollapsingMergeTree
Lansonli（蓝深李）的博客
08-17 1434
VersionedCollapsingMergeTree表引擎的作用与CollapsingMergeTree完全相同，它们的不同之处在于，VersionedCollapsingMergeTree对数据的写入顺序没有要求，在同一个分区内，任意顺序的数据都能够完成折叠操作。VersionedCollapsingMergeTree使用version列来实现乱序情况下的数据折叠，该引擎除了需要指定一个sign标识之外，还需要指定一个UInt*类型的version版本号。......
ClickHouse存储引擎之ReplacingMergeTree引擎
热门推荐
lichunliang的博客
08-03 2万+
同时发布于个人博客https://schnappi618.github.io/中～ 一、ReplacingMergeTree作用 ​ ClickHouse中最常用也是最基础的表引擎为MergeTree，在它的功能基础上添加特定功能就构成了MergeTree系列引擎。MergeTree支持主键，但主键主要用来缩小查询范围，且不具备唯一性约束，可以正常写入相同主键的数据。但在一些情况下，可能需要表中没有主键重复的数据。ReplacingMergeTree就是在MergeTree的基础上加入了去重的功能，但它.
09_ClickHouse,ReplacingMergeTree,案例,根据排序键去重,使用版本参数的去重(学习笔记)
涂作权的博客
12-09 7312
7.ReplacingMergeTree 7.1.ReplacingMergeTree 7.2.案例 7.2.1.示例1：根据排序键去重 7.2.2.示例2：使用版本参数的去重 7.ReplacingMergeTree 7.1.ReplacingMergeTree 删除具有相同排序键值的重复项。 数据去重是在合并期间进行的。 后台的合并操作在未知的时间触发，因此用户无法对合并进行计划。 可使用OPTIMIZE语句运行计划外的合并，但OPTIMIZE是一个很重的操作。 ReplacingMergeTree适
Clickhouse之ReplicatedMergeTree原理详解
u011611051的博客
01-17 1万+
ReplicatedMergeTree作为Clickhouse（下文简称CK）复制表系列的基础表引擎，包涵了CK数据副本最核心的逻辑，本文详细介绍了ReplicatedMergeTree的核心原理，以便于更好地去使用ReplicatedMergeTree系列的表引擎。 在ReplicatedMergeTree的核心逻辑中，大量使用了ZooKeeper分布式协同的能力，来实现多个ReplicatedMergeTree副本实例之间的协同，包括主副本选举、副本状态感知、操作日志分...
ClickHouse借助ReplacingMergeTree实现重复数据删除
upupfeng的博客
09-05 1万+
MergeTree引擎的表，由于重复入库导致了表中数据重复，需要将重复的数据删除，只保留一条记录。 在使用Hive的时候，遇到这种情况通常是使用row_number取第一条插入到临时表中，然后将原表数据删除，再将临时表数据写回来就可以实现去重。 但是CK（clickhouse）中不支持row_number函数，需要使用别的方法去重。 翻阅文档后，发现可以使用ReplacingMergeTree + Optimize来手动实现去重。需要注意的是这种方式不太适合于超大数据量数据的去重。 先介绍下Replacin
clickhouse ReplacingMergeTree及存储知识
Yuhang.Pei 's blog
04-22 3053
业务场景：存在实时数据，需要更新 当前情况：单机表可以实现 增删改查操作。但是集群表不行，特此引入ReplacingMergeTree引擎，实施ch后台自动去重操作 特别提示：该引擎不能完全依赖去做去重，可能因为merge合并及诸多原因，存在极少量去重失败情况 实际部署： 本地表： ReplacingMergeTree(【ver】) PARTITION BY day PRIMARY KE...
clickhouse---MergeTree系列表引擎
weixin_38813363的博客
05-02 797
MergeTree MergeTree作为家族最基础的表引擎，提供了数据分区、一级索引和二级索引等功能。对于基础原理，在上一篇文章中已经介绍过了。本节进一步介绍MergeTree家族独有的另外两项能力----数据TTL与存储侧罗 TTL MergeTree中可以设置整个列字段或者整张表的TTL.如果到达ttl会将对应列/表删除。 ttl的运行原理：如果一张MergeTree表设置了TTL表达式，那么在写入数据时，会以数据分区为单位，在每个分区目录内生成一个名为ttl.txt文件，里面存储ttl相关信息。co
ClickHouse实战处理（一）：MergeTree系列引擎
sheep8521的博客
05-21 2183
6、partition.dat与minmax_[Column].idx：如果指定了分区键，则会额外生成partition.dat与minmax索引文件，它们均使用二进制格式存储。data.bin：数据文件，使用压缩格式存储，默认为LZ4压缩格式，用于存储某一列的数据。MergeTree在写入一批数据时，数据总会以数据片段的形式写入磁盘，且数据片段在磁盘上不可修改。这里我们介绍下MergeTree引擎表对应到磁盘的数据目录，Clikchouse新版本与之前版本对比，数据对应的磁盘目录略有不同。
精选资源
clickhouse-jdbc-bridge:从ClickHouse到外部数据库的JDBC代理
05-23
ClickHouse JDBC桥 用于ClickHouse:registered:的JDBC桥。 它充当无状态代理，将查询从ClickHouse传递到外部数据源。 使用此扩展，您可以跨多个数据源实时在ClickHouse上运行分布式查询，从而以某种方式简化了用于...
ClickHouse 之 ReplacingMergeTree
weixin_42511070的博客
10-10 1128
设计为相同分区的数据进行数据去重。 特点 使用ORDER BY排序键作为唯一键 以分区为单位进行去重，只在分区合并时触发 如果参数没设置列，则保留重复数据的最后一行 使用 CREATE TABLE replace_table ( id String, code String, time DateTime ) ENGINE = ReplacingMergeTree(time) PARTITION BY toYYYYMM(time) ORDER BY (id, code) .
clickhouseMergeTree系列引擎之ReplacingMergeTree
lyq7269的博客
03-24 1762
ReplacingMergeTree的作用 删除据有相同排序键值的重复项。 数据去重是在合并期间进行的 后台的合并操作在未知的时间出发，因此用户无法对合并进行计划。 可使用OPTIMEZE语句运行计划外的合并，但OPTIMIZE是一个很重要的操作。 ReplacingMergeTree适合清除后台的重复数据以节省空间。 指定表引擎： ENGINE - ReplaceMergeTree[ver] 参数：ver，版本列。版本列的类型为UInt*、Date或DateTime。可选参数。 合并的时候，Repla
Clickhouse实战-ReplacingMergeTree引擎实战
zg_hover的专栏
03-28 1030
通过ReplacingMergeTree表引擎，可以自动的对表中的数据进行去重。通过这种方式，就可以批量插入数据而不需要批量更新数据，并能保证数据的版本是最新的。
clickhouse的ReplacingMergeTree引擎实战
zhangsir的博客
12-16 1万+
学习ReplacingMergeTree引擎，首先你得了解clickhouse的MergeTree引擎，因为MergeTree引擎是MergeTree引擎的一个扩展版引擎，他拥有和MergeTree一样的功能，同时新增了一个删除相同主键数据的功能。 我们知道，clickhouse的MergeTree引擎，是clickhouse众多引擎中，号称性能最好的一个引擎，但他只能按照分区删除数据，所以有些场...
解决ClickHouse 引擎ReplacingMergeTree更新数据，数据double问题
u011835473的博客
02-28 1万+
在我们使用ReplacingMergeTree引擎更新数据时，ClickHouse会根据最新数据来刷新数据，刷新数据是有一个频率的，当我们更新数据但是数据库没有merge时，此时做sum或者count时，数据量会翻倍。而手动执行merge，又会压榨数据库性能，所以此方式不是一种有效的解决办法。这是我们需要的时最新的一批数据（或者说二选一）。 1、这时我们熟悉关系型数据...
Docker安装ClickHouse
最新发布
BrandoLv
01-07 125
【代码】Docker安装ClickHouse。
数据仓库工具箱：缓慢渐变维度（SCD）
sunqingok的博客
01-07 409
缓慢渐变维度是指维度表中的属性值会随着时间的推移而发生缓慢、不可预测的变化。客户地址变更产品分类调整员工部门调动会员等级变化如何记录和反映这种变化，决定了SCD的类型选择。维度属性值从第一次设置后就不再改变。无论源系统如何变化，数据仓库始终保持其原始状态。用新的属性值直接覆盖旧值，不保留任何历史痕迹。历史事实会自动关联到新的属性值。当属性发生变化时，不更新原记录，而是插入一条新的维度行，并为该行分配新的代理键。这是记录完整历史最常用、最重要的技术。
Kafka 幂等性详解
Muyu1uz的博客
01-05 906
本文深入解析Kafka幂等机制解决消息重复与乱序问题。通过ProducerID和序列号生成唯一键，Broker端判断序列号连续性来识别重复和乱序消息。消息以Batch为单位发送，Broker维护状态映射进行比对。但该机制无法解决跨会话问题，需配合事务机制实现完整解决方案。Kafka的幂等设计有效保障了消息队列的可靠性和数据一致性。
PyFlink Table API 用纯 Python 写一个 WordCount（读 CSV + 聚合 + 写出）
hello.reader
01-06 1033
本文介绍了如何使用Flink Python Table API构建一个WordCount数据处理管道。主要内容包括：1)通过TableEnvironment创建流处理环境；2)使用TableDescriptor或DDL两种方式注册文件系统的CSV源表和JSON目标表；3)实现UDTF函数进行单词拆分；4)通过flat_map、group_by和count操作实现单词统计；5)执行execute_insert触发计算并输出结果。文章还提供了完整可运行代码示例，并分享了关于并行度设置、批流模式选择、文件格式选用
这里有一个clickhouse的配置文件，请帮我解读一下：version: "3.7" services: clickhouse01: image: yandex/clickhouse-server container_name: clickhouse01 hostname: clickhouse01 ports: - 8811:8123 - 9011:9000 volumes: - "D:/clichhouse-data/volume1:/var/lib/clickhouse" clickhouse02: image: yandex/clickhouse-server hostname: clickhouse02 container_name: clickhouse02 ports: - 8812:8123 - 9012:9000 volumes: - "D:/clichhouse-data/volume2:/var/lib/clickhouse"
03-25
- 使用镜像名为 `yandex/clickhouse-server` 来创建容器。 ```yaml container_name: clickhouse01 hostname: clickhouse01 ``` - 设置了容器名称为 `clickhouse01`，并且主机名也设为了 `clickhouse01`，方便在...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

IT贫道

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值