ClickHouse 24.6 版本发布说明

本文字数：14127；估计阅读时间：36 分钟

作者：ClickHouse team

本文在公众号【ClickHouseInc】首发

又到了发布新版本的时间！

发布概要

本次ClickHouse 24.6 版本包含了23个新功能🎁、24项性能优化🛷、59个bug修复🐛

新贡献者

我们向 24.6 版本的所有新贡献者表示特别欢迎！ClickHouse 的流行离不开社区的贡献，看到社区不断壮大，总是令人感动。

以下是新贡献者的名字：

Artem Mustafin、Danila Puzov、Francesco Ciocchetti、Grigorii Sokolik、HappenLee、Kris Buytaert、Lee sungju、Mikhail Gorshkov、Philipp Schreiber、Pratima Patel、Sariel、TTPO100AJIEX、Tim MacDonald、Xu Jia、ZhiHong Zhang、allegrinisante、anonymous、chloro、haohang、iceFireser、morning-color、pn、sarielwxm、wudidapaopao、xogoodnow

最佳表排序

由 Igor Markelov 贡献

MergeTree 表的物理磁盘顺序是由其 ORDER BY 键决定的。

ORDER BY 键和相应的物理行顺序有三个主要目的：

1. 构建稀疏索引以处理范围请求（也可以指定为 PRIMARY KEY）。

2. 定义合并模式的键，例如 AggregatingMergeTree 或 ReplacingMergeTree 表。

3. 通过在列文件中联合存储数据来提高压缩效果。

为了实现第三个目的，本次发布引入了一个新设置，称为 optimize_row_order。这个设置仅适用于普通的 MergeTree 引擎表。在按 ORDER BY 列排序后，它会根据列的基数对剩余列进行排序，以确保最佳压缩效果。

如果数据具有一定的模式，通用压缩编解码器如 LZ4 和 ZSTD 可以实现最高的压缩率。例如，连续相同值的长序列通常能很好地压缩。通过按列值排序行，可以实现这样的长序列，从最低基数列开始。下图对此进行了说明：

如上图所示，行在磁盘上按列值排序，从最低基数列开始，每列中会有长时间运行相同的值。这样可以提高表部分列文件的压缩比。

作为反例，下图展示了首先按高基数列排序行在磁盘上的效果：

由于行按高基数列值排序，通常无法再根据其他列的值进行排序来形成长序列。因此，列文件的压缩比会不理想。

通过新的 optimize_row_order 设置，ClickHouse 自动实现最佳数据压缩。ClickHouse 仍然按 ORDER BY 列排序在磁盘上存储行。此外，在具有相同 ORDER BY 列值的行范围内，按剩余列的值进行排序，这些列按范围内列基数升序排列：

这种优化仅适用于插入时创建的数据部分，不适用于部分合并。由于普通 MergeTree 表的大多数合并仅连接 ORDER BY 键的非重叠范围，因此已优化的行顺序通常会保留。

根据数据特性，预计插入时间将增加 30-50%。

预计 LZ4 或 ZSTD 的压缩率平均会提高 20-40%。

此设置最适用于没有 ORDER BY 键或低基数 ORDER BY 键的表，即仅有少数不同 ORDER BY 键值的表。具有高基数 ORDER BY 键的表，例如 DateTime64 类型的时间戳列，预计不会从此设置中受益。

为了展示这一新优化，我们将 10 亿行公共 PyPI 下载统计数据集加载到一个不使用 optimize_row_order 设置的表和一个使用 optimize_row_order 设置的表中。

我们创建了没有新设置的表：

CREATE OR REPLACE TABLE pypi
(
    `timestamp` DateTime64(6),
    `date` Date MATERIALIZED timestamp,
    `country_code` LowCardinality(String),
    `url` String,
    `project` String,
    `file` Tuple(filename String, project String, version String, type Enum8('bdist_wheel' = 0, 'sdist' = 1, 'bdist_egg' = 2, 'bdist_wininst' = 3, 'bdist_dumb' = 4, 'bdist_msi' = 5, 'bdist_rpm' = 6, 'bdist_dmg' = 7)),
    `installer` Tuple(name LowCardinality(String), version LowCardinality(String)),
    `python` LowCardinality(String),
    `implementation` Tuple(name LowCardinality(String), version LowCardinality(String)),
    `distro` Tuple(name LowCardinality(String), version LowCardinality(String), id LowCardinality(String), libc Tuple(lib Enum8('' = 0, 'glibc' = 1, 'libc' = 2), version LowCardinality(String))),
    `system` Tuple(name L