延迟物化技术&clickhouse的应用

不确定性确定你我

已于 2025-01-14 11:16:24 修改

阅读量712

点赞数 24

文章标签： clickhouse 大数据性能优化

于 2025-01-14 11:15:25 首次发布

本文链接：https://blog.youkuaiyun.com/qq_51149892/article/details/145134505

版权

延迟物化技术

定义

延迟物化（Late Materialization）是一种优化技术，常用于列式数据库中（例如DSM模型或PAX模型）。它的核心思想是推迟实际获取完整的记录（元组）数据的时间，直到查询的最后阶段，以避免在查询过程中处理大量不必要的数据。这种技术能够提升查询性能，尤其是涉及到多个列的大型数据库查询。

核心概念

在延迟物化中，数据库系统不会立即将列组合成完整的记录，而是推迟这个过程，尽可能在查询的最后一步才进行实际的数据合并。具体的执行步骤如下：

选择所需的列：首先，数据库只加载查询需要的列数据，并不立即将它们组合成完整的行。例如，如果你有一个包含100个列的大表，但查询只需要三列，数据库只会读取这三列。
执行查询的主要操作：接下来，数据库执行过滤、聚合、排序等操作，而这些操作都是在单独的列上进行的，不涉及完整行的物化。这减少了在查询的早期阶段处理不相关列的开销。
最终物化：只有在最终需要返回结果时，才会将各个列组合在一起生成完整的记录。这样做避免了过早合并数据，从而减少不必要的计算和I/O。

优势

延迟物化带来了多种性能提升：

减少I/O操作：如果查询涉及多个列，早期物化可能会迫使数据库读取并组合所有列的数据，哪怕有些列并不会用于查询的最终结果。而延迟物化推迟了数据的组合，数据库只读取那些真正需要处理的列数据，从而减少了不必要的I/O操作。
节省内存：在执行查询时，如果尽可能推迟记录的组合，数据库可以节省大量内存。每次只处理单独的列，而不是整行数据，可以有效降低内存消耗。
提高处理速度：延迟物化可以让过滤、聚合等操作更加高效，因为这些操作只需要处理列数据，而不需要处理整行数据。列存储的特性（如数据压缩、批处理）能够更好地发挥作用，从而加快查询执行速度。

应用场景

延迟物化在列式数据库和混合存储模型（如PAX）中应用广泛，特别是在以下场景中：

OLAP（联机分析处理）工作负载：查询通常只需要访问某些列，并且这些查询往往涉及大量的过滤、聚合和排序操作。通过延迟物化，可以减少在早期阶段处理无关数据的开销。
数据仓库：在数据仓库中，表通常有许多列，但大多数查询只涉及少量列。延迟物化可以有效地减少I/O和内存占用，提高查询效率。
大规模数据分析：当处理大数据集时，推迟数据组合的时间可以节省大量的系统资源，并加速查询的执行。

示例

假设有一个包含五个列（ID、姓名、年龄、收入、部门）的表，你想查询收入大于50000的所有用户的姓名和部门信息。

普通（早期物化）流程：

数据库系统从磁盘加载ID、姓名、年龄、收入、部门的所有列。
在查询过程中，所有列立即组合成完整的行数据。
数据库对完整行进行过滤，找到收入大于50000的记录。
最后返回结果，输出符合条件的行的姓名和部门。

这种情况下，数据库必须先加载并处理所有列，即使只有少数列最终会用在结果中。

延迟物化流程：

数据库系统首先只加载收入列，并执行过滤，找到收入大于50000的行的索引。
数据库然后根据这些行索引，加载姓名和部门列。
最后，在返回结果时，数据库只物化需要的列，组合姓名和部门列，并输出结果。

通过这种方式，数据库避免了加载和处理不必要的列，优化了性能。

其实是 bitmap 和谓词下推等方案

ClickHouse 中谓词下推和 Roaring Bitmap 的实现方案

谓词下推 (Predicate Pushdown) 实现：

ClickHouse 的谓词下推主要在以下几个层面实现：

查询解析层:

SELECT * FROM table WHERE date >= '2024-01-01' AND user_id > 1000

解析器会分析 WHERE 子句中的条件,识别出可以下推的谓词。

优化器层面:

分区裁剪 - 利用分区键进行粗粒度过滤
主键索引 - 使用主键索引进行数据块级别的跳过
二级索引(跳数索引) - 使用 minmax、set、bloom filter 等跳数索引做数据块过滤

存储引擎层:

MergeTree 引擎会根据下推的谓词条件,在读取数据时就进行过滤
对于分布式表,谓词条件会下推到各个 shard 执行
在列式存储中,只读取必要的列,减少 I/O

Roaring Bitmap 实现：

ClickHouse 使用 Roaring Bitmap 来优化 GROUP BY、DISTINCT 等去重场景：

数据结构:

// 简化的核心数据结构
struct RoaringBitmap {
    // 使用 container 数组存储不同范围的整数
    array<Container> containers;  
    
    // 每个 container 可以是:
    // 1. Array Container: 稀疏数据用数组存储
    // 2. Bitmap Container: 密集数据用位图存储
};

主要优化:

自适应存储结构 - 根据数据密度选择最优存储方式
SIMD 指令加速 - 使用向量化指令优化位操作
Run-length 编码 - 对连续的整数进行压缩

典型应用场景:

用户行为分析中的用户去重
广告投放中的人群圈选
数据分析中的基数统计

ClickHouse 会在查询执行过程中,动态构建和维护这些 bitmap,实现高效的集合运算。

以一个具体示例说明:

-- 统计每天的独立用户数
SELECT 
    date,
    uniqExact(user_id) 
FROM user_visits 
GROUP BY date

执行流程:

按日期分组数据
为每个日期创建 Roaring Bitmap
将用户 ID 添加到对应日期的 bitmap
最后统计每个 bitmap 的基数