u011611051的博客

Flink消费kafka数据实时写入Clickhouse（java版本）

ReplicatedMergeTree作为Clickhouse（下文简称CK）复制表系列的基础表引擎，包涵了CK数据副本最核心的逻辑，本文详细介绍了ReplicatedMergeTree的核心原理，以便于更好地去使用ReplicatedMergeTree系列的表引擎。在ReplicatedMergeTree的核心逻辑中，大量使用了ZooKeeper分布式协同的能力，来实现多个ReplicatedMergeTree副本实例之间的协同，包括主副本选举、副本状态感知、操作日志分...

clickhouse materialize view的增强版，构建lazy模式的projection，空间换时间，解决物化视图查询可能不一致的问题，构建projection，上层应用无感知，查询会自动匹配最优projection进行计算。参考：https://mp.weixin.qq.com/s/X5yoBF7ePwdkEIXTpuxubw...

1.OLAP工具。2.适合大宽表，读大量行但是少量列，结果集小。3.不更新或少更新(延迟高、代价大)。4.避免热点、数据倾斜，对写入数据预处理，将数据均匀分散到各shard的各块盘。5.集群限流方案：并发高导致集群瘫痪 大查询导致集群瘫痪（包括：查询请求不合理导致集群负载过高，扫描数据量过大，join使用不规范等）避免对集群安全性造成影响，需要提前做预判。6.集群统一调度方案：队列有优先级控制，ad-hoc查询优先级高，同步查询，大部分查询对于使用者来说感觉不到异步。

本文从二进制文件的角度出发，重点介绍ck的MergeTree表引擎下的数据是如何在硬盘上存储的，以便于更好地去理解MergeTree表引擎的原理。首先创建一个MergeTree的基础表，如下：注：将索引粒度置为2，并且按行限制索引粒度。导入一些测试数据，如下：数据文件在硬盘上的存储如下：对上述各文件进行分析：checksums.txt校验文件，使用...