ClickHouse 25.8 版本发布说明

本文字数：13006；估计阅读时间：33 分钟

作者：ClickHouse Team

本文在公众号【ClickHouseInc】首发

又到了发布新版本的时刻！

发布概要

ClickHouse 25.8 版本共带来了 45 项新功能 🌻、 47 项性能优化 🏍、 以及 119 个bug修复 🐝。

这一版本的亮点包括：全新的高速 Parquet 读取器、Data Lake 相关的功能增强、支持 Hive 风格分区写入、初步支持 PromQL 查询语法等众多更新！

新晋贡献者

热烈欢迎所有在 25.8 版本中首次贡献的开发者！ClickHouse 社区的蓬勃发展令人感动，我们始终感谢每一位为 ClickHouse 增添力量的贡献者。

以下是本次版本中新加入的贡献者名单：

Alexei Fedotov、Bulat Sharipov、Casey Leask、Chris Crane、Dan Checkoway、Denny（Innervate 的 DBA）、Evgenii Leko、Felix Mueller、Huanlin Xiao、Konstantin Dorichev、László Várady、Maruth Goyal、Nick、Rajakavitha Kodhandapani、Renat Bilalov、Rishabh Bhardwaj、RuS2m、Sahith Vibudhi、Sam Radovich、Shaohua Wang、Somrat Dutta、Stephen Chi、Tom Quist、Vladislav Gnezdilov、Vrishab V Srivatsa、Yunchi Pang、Zakhar Kravchuk、Zypperia、ackingliu、albertchae、alistairjevans、craigfinnelly、cuiyanxiang、demko、dorki、mlorek、rickykwokmeraki、romainsalles、saurabhojha、somratdutta、ssive7b、sunningli、xiaohuanlin、ylw510

Parquet reader v3

贡献者：Michael Kolupaev

虽然 ClickHouse 是围绕其原生 MergeTree 表设计的，但它同样支持直接查询超过 70 种外部数据格式，包括 Parquet、JSON、CSV 和 Arrow 等，无需先导入数据。与多数数据库需要先将外部文件加载成原生格式不同，ClickHouse 可跳过这一步，依然支持完整的 SQL 功能，比如连接查询、窗口函数、170 多种聚合函数等。

在所有这些格式中，Parquet 占据着特殊的位置。它是现代 Lakehouse 表格式（如 Iceberg 和 Delta Lake）的核心存储格式。因此，近年来我们在 Parquet 支持方面持续加大优化力度，目标是让 ClickHouse 成为全球最快的 Parquet 查询引擎。

此次发布带来了全新原生实现的 Parquet 读取器（目前处于实验阶段），相比旧版大幅提速。此前，ClickHouse 的 Parquet 读取依赖 Apache Arrow 库：Parquet 文件会先被解析为 Arrow 格式，然后通过流式传输转换为 ClickHouse 的内存格式进行执行。而新版读取器跳过了这一步，能够直接将 Parquet 文件读取为 ClickHouse 内存格式，从而提升了并发能力和 I/O 效率。

在我们内部，这个项目被戏称为“另一个 Parquet 读取器”，因为这已经是第三个版本。第一次尝试（input_format_parquet_use_native_reader）启动后未能完成；第二次（v2）提交了 Pull Request 但没有合并。而这次，v3 终于正式落地，实现了完整集成的原生 Parquet 读取器。

那么这个新版读取器到底带来了什么？答案是：更强的并行能力与更高效的 I/O 性能。

并行能力提升

下图（摘自我们之前的深度解析（https://clickhouse.com/blog/clickhouse-and-parquet-a-foundation-for-fast-lakehouse-analytics））展示了 Parquet 文件在磁盘上的物理结构：

我们在这里不会展开太多细节（建议阅读我们的深度解析了解更多），这里只做简要说明：

Parquet 文件采用分层结构：

① 行组（Row groups）—— 水平分区，通常包含约 100 万行，或约 500 MB 的数据。  

② 列块（Column chunks）—— 垂直切片，每个行组中每一列对应一个列块。  

③ 页面（Pages）—— 最小的存储单元，约为 1 MB 大小，存储经过编码的值。

基于这种结构，ClickHouse 能够将 Parquet 查询任务在多个 CPU 核心上并行执行。

旧版读取器已经支持并行扫描多个行组，但新版进一步优化：它不仅可以并行处理整个行组，还能在同一个行组内部并发读取多个列，在行组数量较少的情况下也能充分利用 CPU 资源。

此外，ClickHouse 引擎在查询执行的每个阶段（如过滤、聚合、排序）都已实现并行化，因此新版读取器能够自然融入整个端到端的并行执行模型：

① 预取线程（Prefetch threads）—— 并行加载多个列  

② 解析线程（Parsing threads）—— 并行解码各列数据  

③ 文件流处理（File streams）—— 同时处理多个 Parquet 文件  

④ 执行通道（Processing lanes）—— 多核并行执行过滤、聚合和排序操作

需要特别指出的是，新版读取器的预取机制更加智能：它运行在独立的线程池中，仅加载真正需要的数据。例如，非 PREWHERE 子句所涉及的列会在 PREWHERE 执行完成、明确哪些页面需要读取之后再进行预取，从而避免了无效的数据读取。（下一节我们将详细讲解 PREWHERE。）

Parquet 数据的并行处理显著提升了查询性能，但影响性能的另一个关键因素是读取数据的总量。在这方面，新版 Parquet 读取器也做得更高效！

I/O 效率提升 

并行处理可以提升查询速度，而更智能的过滤机制则能在源头减少需要处理的数据量。

下图展示了 Parquet 文件中用于数据过滤的元数据结构：