存储设计——如何优化 ClickHouse 索引（一）

最新推荐文章于 2025-10-30 12:00:55 发布
原创 最新推荐文章于 2025-10-30 12:00:55 发布 · 2.4k 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#clickhouse #java #服务器

本文深入探讨ClickHouse的存储设计与索引机制，包括主键索引、Granule概念、Mark文件的作用等，揭示ClickHouse高效查询背后的秘密。

Keypoint

  1. ClickHouse 索引与其他 RDMS 区别
  2. 稀疏主键索引及其构建
  3. ClickHouse 索引最佳实践

ClickHouse 的索引设计

  Whole data:     [---------------------------------------------]
  CounterID:      [aaaaaaaaaaaaaaaaaabbbbcdeeeeeeeeeeeeefgggggggghhhhhhhhhiiiiiiiiikllllllll]
  Date:           [1111111222222233331233211111222222333211111112122222223111112223311122333]
  Marks:           |      |      |      |      |      |      |      |      |      |      |
                  a,1    a,2    a,3    b,3    e,2    e,3    g,1    h,2    i,1    i,3    l,3
  Marks numbers:   0      1      2      3      4      5      6      7      8      9      10

从文件目录看 ClickHouse 存储设计

/var/lib/clickhouse
- DataBase
  - Table
    - Parts all/Partition_key xxxx (分区键影响parts 数量)
      - checksum.txt (例如因为同步导致all broken parts to remove错误)
      - columns.txt (列及对应格式的数据)
      - count.txt (当前数据块条数)
      - default_compression_codec.txt（压缩格式，默认 LZ4）
      - primary.idx 主键索引 (可以与 ORDER BY 不同)
      - Column.bin（数据文件，压缩后可能是 1:6,2:7,3:4....，在 Compact 模式下，只有一个 bin）
      - Column.mk2 (好像都一样大小，像是 Mark的缩写?)

从存储文件夹中可以看到，分级大概是
表 -> Parts -> 主键索引(idx)、

最低0.47元/天 解锁文章
FesonX
关注
ClickHouse数据库的索引优化与查询加速技巧
AI天才研究院
07-18 1353
随着企业数字化转型加速，秒级响应的实时报表、用户行为分析等需求激增。ClickHouse作为专为OLAP设计的数据库，理论上能处理亿级数据，但实际性能表现与索引设计强相关。本文聚焦索引优化这一核心环节，覆盖从索引原理到实战调优的全链路知识，帮助开发者解决“查询慢”的痛点。本文从“生活化场景”切入索引原理→拆解ClickHouse特有索引类型→通过代码实战演示优化过程→总结10条可落地的加速技巧→展望未来索引技术趋势，形成“原理-实践-经验”的完整知识闭环。稀疏索引。
ClickHouse系列（11）—— ClickHouse建表优化
shangjg3的博客
11-19 662
当order by已使用max_bytes_before_external_sort内存就进行溢写磁盘(基于磁盘排序)，如果不设置该值，那么当内存不够时直接抛错，设置了该值order by可以正常完成，但是速度相对存内存来说肯定要慢点(实测慢的非常多，无法接受)。在服务器内存不充裕的情况下，建议将超出部分内容分配到系统硬盘上，但会降低执行速度，一般通过max_bytes_before_external_group_by、max_bytes_before_external_sort参数来实现。
ClickHouse sql优化技巧
写bug的小哥哥
01-18 4982
1.使用分区 clickhouse的表，走索引和非索引效率差距很大，在使用一个表进行查询时，必须限制索引字段。避免扫描全表 确定索引分区字段，可以用show create table default.ods_user，查看本地表的建表语句，partition by 的字段就是分区字段。 如果需要限制的时间和分区字段不是同一个字段时，可以扩大分区字段取数区间，然后再过滤 2.distinct 和 group by 优先使用group by，distinct满足不了的情况，可以使用group by， 如果c
clickhouse跳表索引最佳实践--minmax索引+Set索引
lixia0417mul2的博客
04-15 1778
clickhouse跳表索引 set跳表索引 minmax跳表索引
ClickHouse 性能调优：索引设计与查询优化实战指南
2501_93894537的博客
10-30 613
通过以上策略，可显著提升 ClickHouse 在复杂查询和高并发场景下的性能表现。：10TB 日志表，按。
ClickHouse性能优化技术深度解析与实践指南
weixin_30777913的博客
05-26 1582
数据模型先行：根据查询模式设计表结构批处理为王：插入批量≥10万行，避免单行操作索引适可而止：避免过多索引影响写入性能资源隔离：区分OLAP与ETL任务资源冷热分层：使用存储策略实现自动数据迁移。
clickhouse数据库索引优化与说明（1）
hjkl52wh的博客
10-11 643
clickhouse索引结构体系介绍及检索流程梳理；
ClickHouse主键索引最佳实践
大数据技术派
04-28 2817
在本文中，我们将深入研究ClickHouse索引。我们将对此进行详细说明和讨论：ClickHouse的索引与传统的关系数据库有何不同ClickHouse是怎样构建和使用主键稀疏索引的ClickHouse索引的最佳实践这篇文章主要关注稀疏索引，clickhouse主键使用的就是稀疏索引。数据集在本文中，我们将使用一个匿名的web流量数据集。我们将使用样本数据集中的887万行(事件)的子集。未压缩的数...
Clickhouse一级索引优化方案
qq_44769557的博客
05-22 3683
Clickhouse一级索引优化方案及知识点
ClickHouse架构概览 —— Clickhouse 架构篇（一）
奔跑的蜗牛的博客
05-27 3491
本文介绍了ClickHouse的整体架构，并对ClickHouse中的一些重要的抽象对象进行了分析。然后此基础上，结合数据库的几个常用的操作，介绍了这些抽象对象的运作机制。ClickHouse 使用的是MPP（Massively Parallel Processing，大规模并行处理）架构，该架构集群中的任意一台服务器都可以单独对外提供服务，是一个多主的结构。
ClickHouse 指南（三）最佳实践 -- 主键稀疏索引
chinusyan的专栏
02-23 3670
ClickHouse 指南（三）最佳实践 -- 稀疏主索引
数据索引与优化：ClickHouse数据索引与查询优化技巧
AI天才研究院
01-18 1381
1.背景介绍 ClickHouse是一种高性能的列式数据库，专为实时数据分析和查询而设计。它的核心特点是高性能、高吞吐量和低延迟。为了实现这些特点，ClickHouse采用了一系列高效的数据索引和查询优化技术。在本文中，我们将深入探讨ClickHouse数据索引与查询优化的相关知识，并提供一些实际操作的技巧。 2.核心概念与联系 2.1数据索引 数据索引是一种数据结构，用于加速数据查询和排...
浅谈ClickHouse查询优化
weixin_59801183的博客
10-24 2172
ClickHouse是一个高性能的列式数据库管理系统，适用于实时分析和大数据处理。为了提高查询性能，ClickHouse采用了多种查询优化技术，如索引、数据预取、查询重写和执行计划。本文将详细讲解这些查询优化技术，以及如何在实际应用中使用它们。
【Clickhouse系列】索引
技术改变世界
06-22 1151
表设计时，ORDER BY子句（即主键）的选择至关重要。优先选择最常用作过滤条件（尤其是范围过滤）的1-N个列。良好的主键设计能解决大部分高效查询问题。当查询条件无法有效利用主键前缀或涉及高基数的非主键列时，考虑创建合适的跳数索引。优先尝试minmax（对有序类型）。对低基数的IN用set。对高基数的IN或字符串用。对LIKE/子串搜索用ngrambf_v1tokenbf_v1。使用查看查询是否使用了索引以及跳过了多少数据块。监控索引的存储开销和查询性能提升是否成正比。
主键顺序影响——如何优化 ClickHouse 索引（二）
FesonX的博客
12-16 1697
如何优化 ClickHouse 索引（二）
clickhouse的索引结构和查询优化
bujidexinq的专栏
03-18 511
clickhouse存在很多引擎，下面的所有内容基于MergeTree引擎 首先看下官网的主键相关内容： 索引效用实例-以MergeTree 为例 MergeTree 系列的引擎，数据是由多组部分文件组成的，一般来说，每个月（译者注：CK目前最小分区单元是月）会有几个部分文件（这里的部分就是块）。 每一个部分的数据，是按照主键进行字典序排列。例如，如果你有一个主键是（CounterID，D...
ClickHouse内幕（3）基于索引的查询优化
京东科技开发者
06-11 550
这里有个疑问在关闭read_in_order优化的查询计划中，系统直接默认了MergeSortingTransform的输入在Chunk内是有序的，这里其实是一个默认优化，因为order by查询的order by字段与表的order by keys的前缀列匹配，所以数据在Chunk内部一定是有序的。所以上算子往往是整个查询的瓶颈算子。Transform中保留最后一个输入的数据作为状态，对于每个输入的新数据如果跟保留的状态相同，那么忽略，如果不同则将上一个状态输出给上一个算子，然后保留当前的数据最为状态。
clickhouse索引
qq_46480020的博客
12-08 7350
clickhouse索引
click house索引
南风知我意
05-03 7310
稀疏索引 好处： 范围查询过滤比较快 弊端： 不适合点对点查询 索引必须依赖物理存储顺序 排序字段a,b,c 索引字段 a, ab ,abc 索引字段必须是排序字段的前缀 语句级多线程 由于一条数据 不适合高qps的高频短查询，更适合低频的大数据复杂查询 优点： ClickHouse将数据划分为多个partition，每个partition再进一步划分为多个index granularity（颗粒），然后通过多个CPU核心分别处理其中的一部分来实现并行数据处理。 在这种设计下，单条Query就能利用
clickhouse索引字段可以为空吗
最新发布
11-26
在 ClickHouse 中，**索引字段本身可以包含空值（NULL）**，但是否允许为空取决于你使用的表引擎、数据类型定义以及索引类型（主要是主键索引或二级索引），并且需要注意一些关键限制和行为。 --- ### 回答问题： > **ClickHouse 的索引字段可以为空吗？** ✅ **可以**，但需要满足以下条件： 1. 字段的数据类型必须显式声明为 `Nullable(...)`。 2. 主键（Primary Key）或排序键（ORDER BY）字段**不推荐使用 `Nullable` 类型**，因为 ClickHouse 对这类字段的处理存在限制和性能问题。 3. 在大多数生产场景中，**主键/排序键字段应避免为 NULL**。 --- ### 原因与解释： #### 1. ClickHouse 支持 `Nullable` 类型 你可以这样定义一个可能为空的索引字段： ```sql CREATE TABLE example_table ( id UInt64, name Nullable(String), created_date DateTime ) ENGINE = MergeTree ORDER BY (name, id); ``` 上面的例子中，`name` 是排序键的一部分，并且是 `Nullable(String)` —— 这在语法上是**允许的**。 #### 2. 为什么官方不推荐将 Nullable 字段用于主键或排序键？ - **性能影响**：`Nullable` 列会额外存储一个位图（null byte map），导致比较操作变慢。 - **排序行为复杂化**： - 在排序时，`NULL` 值被视为“最小值”。 - 例如，在升序排序中，所有 `NULL` 会排在最前面。 - **索引跳过率下降**：稀疏索引（Sparse Index）依赖有序性进行数据块跳过。如果大量 `NULL` 值打乱分布，会导致索引效率降低。 - **某些函数行为异常**：如 `minmax` 索引对 `Nullable` 列的支持不如非空列稳定。 #### 3. 物化视图和分区键中的空值 - 分区键（`PARTITION BY`）字段也**不应为 `Nullable`**，否则可能导致分区逻辑混乱或写入失败。 - 同样建议用默认值代替（如空字符串、0 或特殊标记值）。 --- ### 最佳实践建议： | 场景 | 是否建议允许为空 | |------|----------------| | 主键 / 排序键字段 | ❌ 不建议 | | 普通查询字段（带二级索引） | ✅ 可以，但谨慎使用 | | 分区键字段 | ❌ 避免使用 Nullable | ✅ 推荐替代方案： ```sql -- 更好的设计：避免主键为 Null，用 0 或特殊值表示缺失 CREATE TABLE user_log ( user_id UInt64 DEFAULT 0, -- 而不是 Nullable(UInt64) event_time DateTime, device_type String DEFAULT '' ) ENGINE = MergeTree ORDER BY (user_id, event_time); ``` --- ### 总结 虽然 ClickHouse **语法上允许索引字段为 NULL**（只要类型是 `Nullable(T)`），但由于性能、排序一致性及索引效率的问题，**强烈建议不要将主键、排序键或分区键设为可为空**。应尽量通过业务逻辑或默认值来规避 `NULL` 的使用。 ---
评论 1
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值