ClickHouse之MergeTree存储引擎

Clickhouse MergeTree 存储引擎架构总结——Clickhouse 架构篇(二) 存储引擎是ClickHouse非常重要的一个组件,MergeTree表引擎又是 Clickhouse 引擎中最流行的,同时 Clickhouse 之所以查询速度快,与它又密切相关。本文将对 Clickhouse 中的 MergeTree 表引擎架构设计进行说明,进而了解该引擎加速查询的原理,最后将列举 SQL 说明 MergeTree 表引擎的工作过程。 阅读详情

ClickHouse之MergeTree存储引擎详细介绍

目录


概述

ClickHouse是一个面向列的分析型数据库管理系统(OLAP),其核心存储引擎是MergeTree系列。MergeTree引擎借鉴了LSM树(Log-Structured Merge Tree)的设计思想,但针对OLAP场景进行了深度优化。

核心特点

  • 列式存储:数据按列存储,极大提高分析查询性能
  • 顺序写入:采用追加写模式,避免随机I/O
  • 后台合并:定期合并数据分片,保持数据有序
  • 稀疏索引:使用稀疏索引减少内存占用
  • 数据分区:支持按时间等维度分区,便于数据管理
  • 压缩存储:支持多种压缩算法,减少存储空间

LSM树与MergeTree的关系

LSM树简介

LSM树(Log-Structured Merge Tree)是一种通过将数据分层存储来优化写入性能的数据结构。其核心思想是:

  1. 内存缓冲:新数据首先写入内存缓冲区
  2. 不可变文件:缓冲区满后刷盘为不可变文件
  3. 分层合并:后台进程定期合并文件,保持数据有序

MergeTree对LSM的改进

ClickHouse的MergeTree在LSM树基础上进行了以下改进:

特性LSM树MergeTree
存储模式行式存储列式存储
合并策略大小分层合并基于分区和分片的合并
索引方式稠密索引稀疏主键索引
压缩支持有限丰富的压缩算法
查询优化通用优化针对OLAP深度优化

MergeTree核心架构

整体架构图

ClickHouse MergeTree 架构

存储层

写入层

未满

已满

查询层

查询请求

查询规划器

索引过滤

标记定位

列数据读取

结果聚合

客户端写入请求

内存缓冲
Buffer

缓冲区阈值?

刷盘为数据分片
Data Part

分区目录
Partition

数据分片
Data Part

列文件
.bin

标记文件
.mrk

主键索引
.idx

压缩标记
.mrk2

合并层

后台合并线程

选择待合并分片

执行合并操作

生成新分片

删除旧分片

数据组织结构

分区 Partition (如: 202401)

数据分片内部结构

all_1_1_0

列文件
CounterID.bin

列文件
EventDate.bin

列文件
UserID.bin

主键索引
primary.idx

标记文件
CounterID.mrk

标记文件
EventDate.mrk

标记文件
UserID.mrk

分区目录

数据分片1
all_1_1_0

数据分片2
all_2_2_0

数据分片3
all_3_3_0


数据写入流程

写入流程图

合并线程 磁盘存储 内存缓冲区 客户端 合并线程 磁盘存储 内存缓冲区 客户端 数据追加到内存缓冲区 生成 .bin, .mrk, .idx 文件 alt [缓冲区未满] [缓冲区已满] 生成新的有序分片 1. 写入数据 2. 检查缓冲区状态 3. 写入成功 4. 创建新数据分片 5. 持久化成功 6. 清空缓冲区 7. 后台定期检查 8. 选择待合并分片 9. 执行合并操作 10. 删除旧分片

写入步骤详解

  1. 数据接收:ClickHouse接收客户端的INSERT语句
  2. 内存缓冲:数据首先写入内存缓冲区
  3. 缓冲区检查:定期检查缓冲区是否达到阈值
  4. 刷盘操作:缓冲区满时,将数据刷盘为新的数据分片
  5. 文件生成:为每个列生成对应的.bin、.mrk、.idx文件
  6. 缓冲区清空:清空内存缓冲区,准备接收新数据

缓冲区配置参数

-- 设置内存缓冲区大小(默认64MB)
SET max_insert_block_size = 1048576;

-- 设置最大插入批次大小
SET min_insert_block_size_rows = 1048576;

-- 设置异步刷盘时间间隔
SET background_pool_size = 16;

数据读取流程

读取流程图

查询请求

查询解析器

查询规划器

分区剪枝
Partition Pruning

主键索引过滤
Primary Key Filter

标记文件定位
Mark File Lookup

数据块读取
Data Block Read

列数据解压
Column Decompression

结果聚合
Result Aggregation

返回结果

读取步骤详解

  1. 查询解析:解析SQL查询语句,生成查询计划
  2. 分区剪枝:根据WHERE条件过滤不需要的分区
  3. 索引过滤:使用主键索引快速定位数据范围
  4. 标记定位:通过标记文件定位数据块位置
  5. 数据读取:读取列数据文件
  6. 数据解压:解压压缩的列数据
  7. 结果聚合:执行聚合、排序等操作
  8. 返回结果:将结果返回给客户端

索引查找示例

二分查找

偏移量

主键索引
primary.idx

定位标记范围

标记文件
.mrk

列文件
.bin

读取数据块


数据合并机制

合并策略

MergeTree采用后台合并机制,定期将多个数据分片合并为更大的有序分片。

合并流程图

否

是

合并触发条件

达到合并阈值?

选择待合并分片

按主键排序

读取所有分片数据

合并排序数据

生成新分片

写入磁盘

更新元数据

删除旧分片

合并完成

合并触发条件

  1. 分片数量:当分片数量达到阈值时触发合并
  2. 分片大小:当存在多个小分片时触发合并
  3. 时间间隔:定期检查并触发合并
  4. 手动触发:通过OPTIMIZE TABLE手动触发合并

合并配置参数

-- 设置分片数量阈值
SET parts_to_delay_insert = 150;
SET parts_to_throw_insert = 300;

-- 设置合并线程数
SET background_pool_size = 16;

-- 手动触发合并
OPTIMIZE TABLE table_name FINAL;

合并类型

合并类型描述触发条件
普通合并合并相邻分片分片数量达到阈值
增量合并合并新增分片有新分片产生
全量合并合并所有分片OPTIMIZE FINAL
垂直合并合并不同列文件列变更操作

索引结构

主键索引

MergeTree使用稀疏主键索引,索引数据存储在primary.idx文件中。

索引结构图

列文件 .bin

标记文件 .mrk

主键索引 primary.idx

索引项1
key1

索引项2
key2

索引项3
key3

索引项4
key4

标记1
offset1, size1

标记2
offset2, size2

标记3
offset3, size3

标记4
offset4, size4

数据块1
rows 1-1000

数据块2
rows 1001-2000

数据块3
rows 2001-3000

数据块4
rows 3001-4000

索引参数配置

-- 设置索引粒度(默认8192行)
SET index_granularity = 8192;

-- 设置索引粒度字节大小
SET index_granularity_bytes = 10485760;

-- 设置是否使用自适应索引粒度
SET enable_mixed_granularity_parts = 1;

二级索引

ClickHouse支持多种二级索引类型:

索引类型用途示例
minmax最小值/最大值索引日期范围查询
set集合成员索引IN查询
bloom_filter布隆过滤器精确匹配查询
ngrambf_tokenn-gram布隆过滤器全文搜索
-- 创建带二级索引的表
CREATE TABLE table_name (
    id UInt64,
    name String,
    date Date,
    INDEX idx_name name TYPE bloom_filter GRANULARITY 4
) ENGINE = MergeTree()
ORDER BY (id, date)
SETTINGS index_granularity = 8192;

分区与分片

分区机制

MergeTree支持按指定列进行分区,每个分区是一个独立的目录。

分区结构图

表 Table

分区内部

分区目录

数据分片1
all_1_1_0

数据分片2
all_2_2_0

数据分片3
all_3_3_0

表目录

分区1
202401

分区2
202402

分区3
202403

分区示例

-- 创建按日期分区的表
CREATE TABLE events (
    user_id UInt64,
    event_type String,
    event_time DateTime,
    event_data String
) ENGINE = MergeTree()
PARTITION BY toYYYYMM(event_time)
ORDER BY (user_id, event_time)
SETTINGS index_granularity = 8192;

-- 查看分区信息
SELECT partition, name, rows, bytes_on_disk
FROM system.parts
WHERE table = 'events'
AND active = 1;

分片机制

ClickHouse支持集群分片,将数据分布到多个节点。

分片架构图

ClickHouse集群

分片内部

本地表
MergeTree

分区1

分区2

分区3

客户端

分布式表
Distributed

分片1
Node1

分片2
Node2

分片3
Node3


性能优化特性

1. 列式存储

列式存储

Col1: val1, val2, val3

Col2: val1, val2, val3

Col3: val1, val2, val3

行式存储

Row1: col1, col2, col3

Row2: col1, col2, col3

Row3: col1, col2, col3

优势:

  • 只读取需要的列,减少I/O
  • 同列数据类型相同,压缩效率高
  • 向量化执行,提高CPU利用率

2. 数据压缩

ClickHouse支持多种压缩算法:

压缩算法压缩比压缩速度解压速度适用场景
LZ4低快快实时查询
ZSTD高中中归档数据
ZSTD(1-22)可调可调可调灵活配置
NONE无最快最快临时数据
-- 设置压缩算法
ALTER TABLE table_name MODIFY SETTING
    compression_codec = 'ZSTD(3)';

3. 向量化执行

查询请求

向量化执行引擎

批量读取列数据

SIMD指令处理

批量计算

结果输出

4. 预聚合

-- 创建物化视图进行预聚合
CREATE MATERIALIZED VIEW daily_stats_mv
ENGINE = SummingMergeTree()
ORDER BY (date, user_id)
AS SELECT
    toDate(event_time) as date,
    user_id,
    count() as event_count,
    sum(event_value) as total_value
FROM events
GROUP BY date, user_id;

MergeTree家族引擎

ClickHouse提供了多种MergeTree引擎变体,满足不同场景需求。

MergeTree引擎家族

MergeTree

ReplacingMergeTree

SummingMergeTree

AggregatingMergeTree

CollapsingMergeTree

VersionedCollapsingMergeTree

GraphiteMergeTree

各引擎特点

引擎用途特点
MergeTree通用引擎基础引擎,支持所有特性
ReplacingMergeTree去重保留最新版本数据
SummingMergeTree数值求和自动合并相同键的数值
AggregatingMergeTree高级聚合支持任意聚合函数
CollapsingMergeTree增删标记使用sign字段标记增删
VersionedCollapsingMergeTree版本化增删支持版本号的增删
GraphiteMergeTree时序数据专门用于Graphite数据

ReplacingMergeTree示例

-- 创建去重表
CREATE TABLE user_events (
    user_id UInt64,
    event_type String,
    event_time DateTime,
    version UInt64
) ENGINE = ReplacingMergeTree(version)
ORDER BY (user_id, event_type)
SETTINGS index_granularity = 8192;

-- 插入数据
INSERT INTO user_events VALUES (1, 'login', '2024-01-01 10:00:00', 1);
INSERT INTO user_events VALUES (1, 'login', '2024-01-01 11:00:00', 2);

-- 查询前合并
OPTIMIZE TABLE user_events FINAL;

-- 查询结果(只保留version=2的记录)
SELECT * FROM user_events;

SummingMergeTree示例

-- 创建求和表
CREATE TABLE daily_sales (
    date Date,
    product_id UInt64,
    region String,
    amount Decimal(18, 2),
    quantity UInt32
) ENGINE = SummingMergeTree()
ORDER BY (date, product_id, region)
SETTINGS index_granularity = 8192;

-- 插入数据
INSERT INTO daily_sales VALUES ('2024-01-01', 100, 'North', 1000.00, 10);
INSERT INTO daily_sales VALUES ('2024-01-01', 100, 'North', 500.00, 5);

-- 查询前合并
OPTIMIZE TABLE daily_sales FINAL;

-- 查询结果(自动求和)
SELECT * FROM daily_sales;

总结

ClickHouse的MergeTree存储引擎是一个高性能的列式存储引擎,它借鉴了LSM树的设计思想,但针对OLAP场景进行了深度优化。

核心优势

  1. 高性能写入:顺序写入,避免随机I/O
  2. 高效查询:列式存储、稀疏索引、向量化执行
  3. 自动合并:后台自动合并,保持数据有序
  4. 灵活分区:支持多种分区策略
  5. 丰富索引:主键索引、二级索引支持
  6. 高压缩比:多种压缩算法,节省存储空间

适用场景

  • 日志分析
  • 事件追踪
  • 用户行为分析
  • 实时监控
  • 数据仓库
  • BI报表

最佳实践

  1. 合理设计分区键,避免过多小分区
  2. 选择合适的排序键,提高查询效率
  3. 根据查询模式设计索引
  4. 定期执行OPTIMIZE TABLE
  5. 监控磁盘空间和合并性能
  6. 合理配置压缩算法
ClickHouse实战处理(一):MergeTree系列引擎 6、partition.dat与minmax_[Column].idx:如果指定了分区键,则会额外生成partition.dat与minmax索引文件,它们均使用二进制格式存储。data.bin:数据文件,使用压缩格式存储,默认为LZ4压缩格式,用于存储某一列的数据。MergeTree在写入一批数据时,数据总会以数据片段的形式写入磁盘,且数据片段在磁盘上不可修改。这里我们介绍下MergeTree引擎表对应到磁盘的数据目录,Clikchouse新版本与之前版本对比,数据对应的磁盘目录略有不同。 阅读详情

相关推荐

Clickhouse MergeTree 原理(一)

作者:俊达MergeTree是Clickhouse里最核心的存储引擎。Clickhouse里有一系列以MergeTree为基础的引擎(见下图),理解了基础MergeTree,就能理解整个系列的MergeTree引擎的核心原理。本文对MergeTree的基本原理进行介绍。

1245

ClickHouse: MergeTree

前言 承接上文 ClickHouse:起源和架构,简单了解下 ClickHouse 的核心引擎 MergeTree,并且具备很多其他特性的变种 MergeTree 引擎,是 CK 目前支持的 6 类 20+ 种引擎种最为强悍的家族引擎,且仅有MergeTree家族引擎支持 Partition(分区),Shard(分片),Replica(副本), Primary Index(主键索引) ,Sample(抽样)等特性。 MergeTree 建表和存储结构 MergeTree 的数据写入总是以数据片段形式落盘,且

wushirenfei的博客 2039

ClickHouse MergeTree 存储引擎深度解析

MergeTree 存储引擎是 ClickHouse 卓越性能的核心,它通过列式存储、稀疏索引、后台合并等机制实现了高效的分析查询能力。理解 MergeTree 的工作原理对于优化 ClickHouse 性能至关重要。根据不同的业务场景,选择合适的 MergeTree 变种,并进行恰当的表设计和参数调整,可以充分发挥 ClickHouse 的性能潜力。

AI天才研究院 521

clickhouse源码解析

大家如果对replicatedMergetree 感兴趣后续可以更新 clickhouse code trace 1、写入 excuteQuery() // called in TCPHandler::runImpl() executeQueryImpl() parseQuery() interpreter->execute() // InterpreterInsertQuery BlockIO InterpreterInsertQuery::execute() // 构造一个MergeTr

wangxuewei的博客 1134

【ClickHouse为什么这么快?】MergeTree 表存储引擎图文实例详解

前言 ClickHouse是俄罗斯最大的搜索引擎Yandex在2016年开源的数据库管理系统(DBMS),主要用于联机分析处理(OLAP)。其采用了面向列的存储方式,性能远超传统面向行的DBMS,近几年受到广泛关注。本文综合介绍(东拼西凑)了ClickHouse MergeTree系列表引擎的相关知识,并通过示例分析MergeTree存储引擎的数据存储结构。 MergeTree 引擎简介...

AI天才研究院 9497

Coding Plan:程序员真实工作的可执行编码决策框架

Coding Plan 是一种面向工程实践的编码决策方法论,它超越传统学习路径,聚焦于代码在真实业务系统中的上下文对齐、影响控制与可演进性保障。其核心在于将模糊的开发直觉转化为可度量、可验证、可协作的日常动作,涵盖目标对齐、上下文锁定、验证闭环、协作契约和演进预留五大锚点。结合2026年AI辅助编码新范式,它强调将大模型作为‘上下文翻译器’而非代码生成器,并通过分钟级工作块、技术债主动发行、可观测性前置等机制,显著提升交付确定性与系统长期健康度。本文详解该框架的底层逻辑与落地实践。

weixin_33326218的博客 440

大数据之实时数仓建设(二)

如果数据量大,维度多,用keyBy并不方便,建议写到外部实时数仓里,Clickhouse擅长实时查询,flink擅长实时处理。 一、多维度复杂统计(使用Clickhouse) 使用是clickhouse的ReplacingMergeTree,可以将同一个分区中,ID相同的数据进行merge,可以保留最新的数据,可以使用这个特点实现Flink + Clickhouse(勉强)实现数据一致性。 存在的问题:写入到clickhouse中的数据不能立即merge,需要手动optimize或后台自动合并。 解决方案:

大数据同盟会的博客 5421

osgEarth实战:5分钟搞定3DTiles模型加载(附完整配置代码)

本文提供了一份osgEarth加载3DTiles模型的实战指南。通过详解核心Earth文件配置与精简的C++集成代码,帮助开发者快速在三维地球场景中集成倾斜摄影与BIM等海量模型,并分享了性能调优与常见问题排查技巧,有效提升开发效率。

jjj34的博客 480

Clickhouse MergeTree存储引擎

ORDER BY PARTITION BY PRIMARY KEY SAMPLE BY TTL SETTINGS MergeTree ReplacingMergeTree SummingMergeTree AggregatingMergeTree CollapsingMergeTree VersionedCollapsingMergeTree GraphiteMergeTree Replicated*MergeTree

骑个小蜗牛的博客 1841

别再手动改颜色了!用这个Word宏,一键搞定Zotero参考文献超链接的蓝色样式

本文介绍如何利用Word宏一键修改Zotero参考文献的超链接颜色,解决手动调整的繁琐问题。通过详细的VBA代码解析和高级定制方案,帮助科研人员快速实现文献引用的自动化格式优化,提升论文排版效率。特别适合需要批量处理APA等标准格式蓝色超链接的用户。

weixin_30875157的博客 515

PyCharm配置及使用Git教程

平时习惯在Windows下开发,但是我们又需要实时将远方仓库的代码clone到本地,也需要将自己修改的代码push到远端服务器。

酒酿小圆子呀~ 4万+

存储引擎对比:MySQL InnoDB、ClickHouse MergeTree 与 RocksDB 的选型边界

InnoDB + MergeTree 混合架构:OLTP 写入 InnoDB,通过 Binlog 同步到 ClickHouse 做分析。这是最常见的混合方案,但增加了系统复杂度——需要维护两套存储和同步管道。同步延迟通常 1-5 秒,分析查询看到的数据有短暂滞后。RocksDB 作为缓存层:在 InnoDB 前面加一层 RocksDB 缓存热点数据,减少 InnoDB 的读取压力。但缓存一致性维护复杂——InnoDB 数据更新时需要同步失效 RocksDB 缓存。

guoyizhongxing的博客 1071

RocketMQ 为什么要自己做一个 NameServer ?RocketMQ 5.x 版本中的 proxy、controller 和 container 分别有什么用 ?

1.独立运行的分散结构 2.简化实现,容忍部分数据不一致 Proxy:多语言支持、简化开发 Controller: 提高 Broker 的性能 Container:提高资源利用率,平衡负载

xaiobit_hl的博客 1490

ClickHouse存储引擎终极指南:MergeTree系列引擎深度解析与实战对比

ClickHouse作为一款高性能的列式数据库管理系统,其核心优势在于强大的存储引擎体系。其中,**MergeTree系列引擎**是ClickHouse最核心、最高效的存储引擎家族,专为大数据分析和实时查询场景优化设计。本文将深入解析MergeTree系列引擎的工作原理、适用场景和实战对比,帮助您选择最适合业务需求的存储引擎。🚀 ## MergeTree基础引擎:高性能列式存储的基石 **M

gitblog_01089的博客 1129

【自动驾驶端到端5:VADv2: End-to-End Vectorized Autonomous Driving via Probabilistic Planning】

从大规模人类驾驶演示中学习类人驾驶策略是有希望的。但是,规划的不确定性使得从驾驶演示中提取驾驶知识是有挑战性的。从统计学习的角度来看,动作(包括实际和速度)是高度随机的,受许多无法建模的潜在因素影响。

weixin_40000560的博客 1406

手把手教你学Simulink--基于Simulink的近端策略优化(PPO)路径规划仿真建模

本文详细介绍了如何利用Simulink进行近端策略优化(PPO)路径规划的仿真建模。首先,文章概述了PPO路径规划的特点和挑战,强调了其在连续或离散动作空间问题中的高效性和稳定性。接着,列出了所需的工具和环境,包括MATLAB/Simulink、Reinforcement Learning Toolbox等。随后,文章分步骤详细讲解了从定义任务需求到验证与分析的整个仿真建模过程,包括创建Simulink项目、集成智能体模型、构建环境模型、编写PPO路径规划逻辑、将逻辑集成到Simulink模型中以及最终的验

MHD0815的博客 166

源码分析 | ClickHouse和他的朋友们(5)存储引擎技术进化与MergeTree

本文首发于 2020-06-22 21:55:1021 世纪的第二个 10 年,虎哥已经在存储引擎一线奋战近 10 年,由于强大的兴趣驱动,这么多年来几乎不放过 arXiv 上与存储相关的每一篇 paper。尤其是看到带有 draft 的 paper 时,有一种乞丐听到“叮当”响时的愉悦。看paper这玩意就像鉴宝,多数是“赝品”,需要你有“鉴真”的本领,否则今天是张三的算法超越xx,明儿又是王二的硬件提升了yy,让你永远跟不上节奏zz,湮灭在这些没有营养的技术垃圾中,浪费大好青春。言归正传,接下来的3篇,

dbkernel 的博客 300

从零开始做对容量规划:一文讲透 SAP Greenfield sizing 与 Quick Sizer 落地方法

摘要 SAP项目早期硬件规划面临业务细节缺失的挑战,Greenfield sizing方法通过Quick Sizer工具将业务需求转化为硬件资源需求。该方法聚焦主要负载驱动因素而非精确预测,采用标准化问卷形式输入并发用户数、业务处理量等参数,输出内存、CPU等资源需求。关键步骤包括选择正确的Quick Sizer版本、创建sizing项目、参考SAP基准测试和认证目录校准结果,最终将需求交由硬件厂商落地。该方法特别适用于缺乏历史数据的新系统部署,帮助在不确定性中建立可控的容量规划模型,避免资源浪费或性能不足

2007 年 ~ 2025 年,深耕 SAP 技术 18 年 218

ClickHouse列式存储引擎:MergeTree系列与向量化执行深度解析

ClickHouse列式存储引擎:MergeTree系列与向量化执行深度解析 一、引言 ClickHouse是Yandex开源的列式分析型数据库,单表查询可达每秒数十亿行。其核心优势来自三大技术支柱:**列式存储+压缩**(IO减少10-100x)、**MergeTree引擎族**(稀

谁念西风独自凉 239

Devexpress16.2.6破解工具

Devexpress16.2.6破解工具Devexpress16.2.6破解工具Devexpress16.2.6破解工具Devexpress16.2.6破解工具

C# WinForm 基于DirectShow.dll编写的程序,可边预览边保存视频,音频和图片

基于微软的DirectShow.dll的二次开发1.自动识别连接的摄像头跟麦克风且可以对其进行选择(默认选中第一个)2.可录制wmv和avi两种格式的视频并且都带有音频,avi可以录制的分辨率和帧数进行选择,wmv默认进行了淸晰度优化如不喜欢可去除代码中有相关提示3.可在预览点开之后进行拍照,也可边录制视频边拍照4.添加了视频和音频的压缩功能(酌情使用)这次二次开发发现C#对DirectShow的相关信息太少,这次做完也不敢藏私共享出来,还望大家指正

ClickHouse 的存储引擎

核心机制:数据按分区键(PARTITION BY)水平分割,按主键(ORDER BY)排序存储,支持高效的范围查询和聚合。预聚合优化:在后台合并分区时自动聚合数值(如 SUM、COUNT)或预计算状态(如 uniqState),加速聚合查询。去重机制:按主键合并分区时保留最新版本数据,适用于时序数据更新(如用户状态变更)。每个 part 包含列文件(.bin)、索引(.idx)和标记文件(.mrk)。优势:列式存储 + 数据压缩(如 LZ4/ZSTD),显著减少 I/O 开销。

weixin_43346403的博客 651

VB摄像头监控

该VB模块可对摄像头捕获的画面进行录像等,可在创建的窗口进行控制

ClickHouse和他的朋友们(5)存储引擎技术进化与MergeTree

21 世纪的第二个 10 年,虎哥已经在存储引擎一线奋战近 10 年,由于强大的兴趣驱动,这么多年来几乎不放过 arXiv 上与存储相关的每一篇 paper。尤其是看到带有 draft ...

老叶茶馆 659

IEM模型,地表粗糙度模拟

利用微波反演土壤水分时候,利用IEM模型可以实现对随机地表的模拟

ClickHouse存储引擎初识

本文介绍了ClickHouse中的几种主要存储引擎:MergeTree、ReplicatedMergeTree、SummingMergeTree、AggregatingMergeTree和Distributed,以及它们的工作原理、使用场景和优缺点。了解这些存储引擎有助于您根据实际需求选择合适的引擎,从而充分利用ClickHouse的强大功能。

weixin_59801183的博客 1298

【ClickHouse系列】ClickHouse表引擎MergeTree实践

MergeTree系列 Log、Special、Integration主要用于特殊用途,场景相对有限。MergeTree系列才是官方主推的存储引擎,支持几乎所有ClickHouse核心功能。 以下重点介绍MergeTree、ReplacingMergeTree、CollapsingMergeTree、VersionedCollapsingMergeTree、SummingMergeTree、Agg...

一只努力的微服务 4744

clickhouse查看表索引_【ClickHouse内核】MergeTree数据物理存储结构

“摘要: 本文主要讲述ClickHouse开源数据库MergeTree数据物理存储结构相关知识点。主要内容如下:概述查看ClickHouse的数据目录测试环境描述数据物理存储信息结论”01—概述ClickHouse是一款开源列式存储分析型数据库,它最核心的特点就是极致存储压缩率和查询性能。在ClickHouse中MergeTree存储引擎又是重中之重。那么本文主要和大家一起了解下Mer...

weixin_36180515的博客 3027

ClickHouse 建表语句

在这个例子中,数据首先按 event_date 排序,然后是 event_time,接着是 user_id 和 event_type。例如,event_date 是日期类型,event_time 是日期时间类型,等等。在 ClickHouse 中,MergeTree 系列表是存储引擎的一种,它提供了高性能的列式存储和索引支持。SETTINGS:可以设置一些额外的参数,比如 index_granularity,这决定了索引粒度的大小。ENGINE:指定表使用的存储引擎,这里使用的是 MergeTree()。

weixin_43346403的博客 631

源码分析 | ClickHouse和他的朋友们(6)MergeTree存储结构

本文首发于 2020-06-30 21:41:12上篇的 存储引擎技术进化与MergeTree 介绍了存储算法的演进。存储引擎是一个数据库的底盘,一定要稳和动力澎湃。接下来我们将一起来探索下 ClickHouse MergeTree 列式存储引擎,解构下这台“跑车”最重要的部件。所有的存储引擎,无论精良与粗制滥造,最终都是要把数据回写到磁盘,来满足存储和索引目的。磁盘文件的构造可以说是算法的物理体现,我们甚至可以通过这些存储结构反推出其算法实现。所以,要想深入了解一个存储引擎,最好的入手点是它的磁盘存储结构

dbkernel 的博客 286
上一篇: ClickHouse 介绍
下一篇: Kubernetes (K8S) 架构详细介绍
d3y1
博客等级 码龄12年 1438粉丝 2805原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值