大数据ClickHouse列式存储相关总结

ClickHouse它是目前业界最流行的高性能列式分析型数据库（OLAP DBMS），以其惊人的查询速度而闻名。

一、ClickHouse 是什么？

ClickHouse 是一个开源的、分布式的、面向列的分析型数据库管理系统，由俄罗斯的 Yandex 公司开发，最初用于其旗舰产品Yandex.Metrica（世界第二大Web分析平台）的在线处理。

它的核心设计目标只有一个：在海量数据上实现极速的统计分析查询。

---

二、核心特性与设计哲学

ClickHouse 的性能并非来自某一项银弹技术，而是其整体架构和设计哲学协同作用的结果。

1. 真正的列式存储与管理

   • 数据不仅以列式存储，而且在内存中也以列式进行处理。这意味着CPU缓存和向量化执行引擎的效率极高，因为它可以连续地处理大量同类数据，而不是在行记录中跳来跳去。

2. 向量化查询执行

   • 这是其高性能的关键。查询执行引擎不是一次处理一行数据，而是一次处理一整批数据（一个“向量”或“列块”）。这大大减少了函数调用开销，并充分利用了现代CPU的SIMD指令集（单指令多数据流），实现并行计算。

3. 数据压缩

   • 由于同一列的数据类型相同，数据模式高度相似，ClickHouse 可以实现极高的压缩比（通常能达到10:1甚至20:1以上）。这不仅节省了存储空间，更重要的是减少了从磁盘读取的数据量，而I/O往往是分析查询的最大瓶颈。