ClickHouse之MergeTree存储引擎详细介绍
目录
概述
ClickHouse是一个面向列的分析型数据库管理系统(OLAP),其核心存储引擎是MergeTree系列。MergeTree引擎借鉴了LSM树(Log-Structured Merge Tree)的设计思想,但针对OLAP场景进行了深度优化。
核心特点
- 列式存储:数据按列存储,极大提高分析查询性能
- 顺序写入:采用追加写模式,避免随机I/O
- 后台合并:定期合并数据分片,保持数据有序
- 稀疏索引:使用稀疏索引减少内存占用
- 数据分区:支持按时间等维度分区,便于数据管理
- 压缩存储:支持多种压缩算法,减少存储空间
LSM树与MergeTree的关系
LSM树简介
LSM树(Log-Structured Merge Tree)是一种通过将数据分层存储来优化写入性能的数据结构。其核心思想是:
- 内存缓冲:新数据首先写入内存缓冲区
- 不可变文件:缓冲区满后刷盘为不可变文件
- 分层合并:后台进程定期合并文件,保持数据有序
MergeTree对LSM的改进
ClickHouse的MergeTree在LSM树基础上进行了以下改进:
| 特性 | LSM树 | MergeTree |
|---|---|---|
| 存储模式 | 行式存储 | 列式存储 |
| 合并策略 | 大小分层合并 | 基于分区和分片的合并 |
| 索引方式 | 稠密索引 | 稀疏主键索引 |
| 压缩支持 | 有限 | 丰富的压缩算法 |
| 查询优化 | 通用优化 | 针对OLAP深度优化 |
MergeTree核心架构
整体架构图
数据组织结构
数据写入流程
写入流程图
写入步骤详解
- 数据接收:ClickHouse接收客户端的INSERT语句
- 内存缓冲:数据首先写入内存缓冲区
- 缓冲区检查:定期检查缓冲区是否达到阈值
- 刷盘操作:缓冲区满时,将数据刷盘为新的数据分片
- 文件生成:为每个列生成对应的.bin、.mrk、.idx文件
- 缓冲区清空:清空内存缓冲区,准备接收新数据
缓冲区配置参数
-- 设置内存缓冲区大小(默认64MB)
SET max_insert_block_size = 1048576;
-- 设置最大插入批次大小
SET min_insert_block_size_rows = 1048576;
-- 设置异步刷盘时间间隔
SET background_pool_size = 16;
数据读取流程
读取流程图
读取步骤详解
- 查询解析:解析SQL查询语句,生成查询计划
- 分区剪枝:根据WHERE条件过滤不需要的分区
- 索引过滤:使用主键索引快速定位数据范围
- 标记定位:通过标记文件定位数据块位置
- 数据读取:读取列数据文件
- 数据解压:解压压缩的列数据
- 结果聚合:执行聚合、排序等操作
- 返回结果:将结果返回给客户端
索引查找示例
数据合并机制
合并策略
MergeTree采用后台合并机制,定期将多个数据分片合并为更大的有序分片。
合并流程图
合并触发条件
- 分片数量:当分片数量达到阈值时触发合并
- 分片大小:当存在多个小分片时触发合并
- 时间间隔:定期检查并触发合并
- 手动触发:通过OPTIMIZE TABLE手动触发合并
合并配置参数
-- 设置分片数量阈值
SET parts_to_delay_insert = 150;
SET parts_to_throw_insert = 300;
-- 设置合并线程数
SET background_pool_size = 16;
-- 手动触发合并
OPTIMIZE TABLE table_name FINAL;
合并类型
| 合并类型 | 描述 | 触发条件 |
|---|---|---|
| 普通合并 | 合并相邻分片 | 分片数量达到阈值 |
| 增量合并 | 合并新增分片 | 有新分片产生 |
| 全量合并 | 合并所有分片 | OPTIMIZE FINAL |
| 垂直合并 | 合并不同列文件 | 列变更操作 |
索引结构
主键索引
MergeTree使用稀疏主键索引,索引数据存储在primary.idx文件中。
索引结构图
索引参数配置
-- 设置索引粒度(默认8192行)
SET index_granularity = 8192;
-- 设置索引粒度字节大小
SET index_granularity_bytes = 10485760;
-- 设置是否使用自适应索引粒度
SET enable_mixed_granularity_parts = 1;
二级索引
ClickHouse支持多种二级索引类型:
| 索引类型 | 用途 | 示例 |
|---|---|---|
| minmax | 最小值/最大值索引 | 日期范围查询 |
| set | 集合成员索引 | IN查询 |
| bloom_filter | 布隆过滤器 | 精确匹配查询 |
| ngrambf_token | n-gram布隆过滤器 | 全文搜索 |
-- 创建带二级索引的表
CREATE TABLE table_name (
id UInt64,
name String,
date Date,
INDEX idx_name name TYPE bloom_filter GRANULARITY 4
) ENGINE = MergeTree()
ORDER BY (id, date)
SETTINGS index_granularity = 8192;
分区与分片
分区机制
MergeTree支持按指定列进行分区,每个分区是一个独立的目录。
分区结构图
分区示例
-- 创建按日期分区的表
CREATE TABLE events (
user_id UInt64,
event_type String,
event_time DateTime,
event_data String
) ENGINE = MergeTree()
PARTITION BY toYYYYMM(event_time)
ORDER BY (user_id, event_time)
SETTINGS index_granularity = 8192;
-- 查看分区信息
SELECT partition, name, rows, bytes_on_disk
FROM system.parts
WHERE table = 'events'
AND active = 1;
分片机制
ClickHouse支持集群分片,将数据分布到多个节点。
分片架构图
性能优化特性
1. 列式存储
优势:
- 只读取需要的列,减少I/O
- 同列数据类型相同,压缩效率高
- 向量化执行,提高CPU利用率
2. 数据压缩
ClickHouse支持多种压缩算法:
| 压缩算法 | 压缩比 | 压缩速度 | 解压速度 | 适用场景 |
|---|---|---|---|---|
| LZ4 | 低 | 快 | 快 | 实时查询 |
| ZSTD | 高 | 中 | 中 | 归档数据 |
| ZSTD(1-22) | 可调 | 可调 | 可调 | 灵活配置 |
| NONE | 无 | 最快 | 最快 | 临时数据 |
-- 设置压缩算法
ALTER TABLE table_name MODIFY SETTING
compression_codec = 'ZSTD(3)';
3. 向量化执行
4. 预聚合
-- 创建物化视图进行预聚合
CREATE MATERIALIZED VIEW daily_stats_mv
ENGINE = SummingMergeTree()
ORDER BY (date, user_id)
AS SELECT
toDate(event_time) as date,
user_id,
count() as event_count,
sum(event_value) as total_value
FROM events
GROUP BY date, user_id;
MergeTree家族引擎
ClickHouse提供了多种MergeTree引擎变体,满足不同场景需求。
MergeTree引擎家族
各引擎特点
| 引擎 | 用途 | 特点 |
|---|---|---|
| MergeTree | 通用引擎 | 基础引擎,支持所有特性 |
| ReplacingMergeTree | 去重 | 保留最新版本数据 |
| SummingMergeTree | 数值求和 | 自动合并相同键的数值 |
| AggregatingMergeTree | 高级聚合 | 支持任意聚合函数 |
| CollapsingMergeTree | 增删标记 | 使用sign字段标记增删 |
| VersionedCollapsingMergeTree | 版本化增删 | 支持版本号的增删 |
| GraphiteMergeTree | 时序数据 | 专门用于Graphite数据 |
ReplacingMergeTree示例
-- 创建去重表
CREATE TABLE user_events (
user_id UInt64,
event_type String,
event_time DateTime,
version UInt64
) ENGINE = ReplacingMergeTree(version)
ORDER BY (user_id, event_type)
SETTINGS index_granularity = 8192;
-- 插入数据
INSERT INTO user_events VALUES (1, 'login', '2024-01-01 10:00:00', 1);
INSERT INTO user_events VALUES (1, 'login', '2024-01-01 11:00:00', 2);
-- 查询前合并
OPTIMIZE TABLE user_events FINAL;
-- 查询结果(只保留version=2的记录)
SELECT * FROM user_events;
SummingMergeTree示例
-- 创建求和表
CREATE TABLE daily_sales (
date Date,
product_id UInt64,
region String,
amount Decimal(18, 2),
quantity UInt32
) ENGINE = SummingMergeTree()
ORDER BY (date, product_id, region)
SETTINGS index_granularity = 8192;
-- 插入数据
INSERT INTO daily_sales VALUES ('2024-01-01', 100, 'North', 1000.00, 10);
INSERT INTO daily_sales VALUES ('2024-01-01', 100, 'North', 500.00, 5);
-- 查询前合并
OPTIMIZE TABLE daily_sales FINAL;
-- 查询结果(自动求和)
SELECT * FROM daily_sales;
总结
ClickHouse的MergeTree存储引擎是一个高性能的列式存储引擎,它借鉴了LSM树的设计思想,但针对OLAP场景进行了深度优化。
核心优势
- 高性能写入:顺序写入,避免随机I/O
- 高效查询:列式存储、稀疏索引、向量化执行
- 自动合并:后台自动合并,保持数据有序
- 灵活分区:支持多种分区策略
- 丰富索引:主键索引、二级索引支持
- 高压缩比:多种压缩算法,节省存储空间
适用场景
- 日志分析
- 事件追踪
- 用户行为分析
- 实时监控
- 数据仓库
- BI报表
最佳实践
- 合理设计分区键,避免过多小分区
- 选择合适的排序键,提高查询效率
- 根据查询模式设计索引
- 定期执行OPTIMIZE TABLE
- 监控磁盘空间和合并性能
- 合理配置压缩算法
1245



被折叠的 条评论
为什么被折叠?



