StarRocks 技术解析：深入理解 Bitmap 索引的设计与应用

StarRocks 技术解析：深入理解 Bitmap 索引的设计与应用

starrocks StarRocks是一个开源的分布式数据分析引擎，用于处理大规模数据查询和分析。 - 功能：分布式数据分析；大规模数据查询；数据分析；数据仓库。 - 特点：高性能；可扩展；易于使用；支持多种数据源。 项目地址: https://gitcode.com/gh_mirrors/st/starrocks

概述

Bitmap 索引是一种高效的数据库索引技术，特别适用于数据仓库和分析型数据库场景。在 StarRocks 中，Bitmap 索引通过位图（bit array）的形式存储数据，每个位对应表中的一行数据，能够显著提升特定查询场景的性能。

Bitmap 索引核心原理

基本概念

Bitmap 索引由一系列位图组成，每个位图对应列中的一个唯一值。位图中的每一位表示表中某一行是否包含该值：

• 1 表示该行包含对应值
• 0 表示不包含

工作原理

当执行查询时，StarRocks 会：

1. 根据查询条件定位到相关位图
2. 对位图进行逻辑运算（AND/OR）
3. 将结果位图转换为行号集合
4. 仅读取这些行对应的数据页

适用场景

Bitmap 索引特别适合以下查询类型：

• 等值查询（=）
• IN 查询
• 范围查询（>, >=, <, <=）
• IS NULL 查询
• 多条件组合查询（AND/OR）

Bitmap 索引设计考量

基数（Cardinality）选择

Bitmap 索引的适用性与列基数密切相关：

1. 高基数列：当列的唯一值数量较多时（如用户ID、订单号等），Bitmap 索引能有效过滤大量数据
2. 低基数列组合：对多个低基数列的组合查询，Bitmap 索引也能发挥良好效果

性能影响因素

设计 Bitmap 索引时需考虑：

• 过滤效率：索引应能过滤掉至少 999/1000 的数据量
• 存储开销：高基数列会占用更多磁盘空间
• 加载性能：索引构建会影响数据导入速度
• 查询开销：索引加载和解码需要额外时间

StarRocks 的智能索引选择

StarRocks 采用自适应机制决定是否使用 Bitmap 索引：

1. 决策公式：

   是否使用索引 = (查询条件值数量 / 列基数) < (bitmap_max_filter_ratio / 1000)
   

   默认 bitmap_max_filter_ratio=1

2. 示例分析：

   • 查询 gender='male'（基数=2）：1/2 > 1/1000 → 不使用
   • 查询 city IN ('北京','上海')（基数=10000）：2/10000 < 1/1000 → 使用

实际操作指南

创建 Bitmap 索引

建表时创建

CREATE TABLE orders (
    order_id INT,
    customer_id INT,
    INDEX idx_customer (customer_id) USING BITMAP
) ENGINE=OLAP
DUPLICATE KEY(order_id);

后期添加

CREATE INDEX idx_customer ON orders(customer_id) USING BITMAP;

查看索引

SHOW INDEX FROM orders;

删除索引

DROP INDEX idx_customer ON orders;

验证索引效果

通过查询 Profile 中的 BitmapIndexFilterRows 字段确认索引是否生效。

性能测试与案例分析

测试环境配置

• 测试表：SSB 标准测试集 lineorder 表（20GB 规模）
• 对比方案：无索引表 vs 带 Bitmap 索引表
• 确保关闭缓存：disable_storage=true

测试案例

案例1：低基数单列查询

查询：

SELECT COUNT(1) FROM lineorder WHERE lo_shipmode='MAIL';

结果分析：

• 无索引：0.91秒（全扫描）
• 强制使用索引：2.077秒（索引额外开销）
• 自适应选择：不使用索引（与无索引性能相当）

结论：低基数单列不适合 Bitmap 索引。

案例2：多低基数列组合查询

查询：

SELECT COUNT(1) FROM lineorder 
WHERE lo_shipmode='MAIL' AND lo_quantity=10;

结果分析：

• 索引显著提升性能（过滤效率提升）

案例3：高基数单列查询

查询：

SELECT COUNT(1) FROM lineorder WHERE lo_partkey=1000;

结果分析：

• 索引有效减少数据扫描量
• 查询性能提升明显

最佳实践建议

1. 索引选择策略：

   • 优先考虑高基数列
   • 对多条件组合查询建立复合索引

2. 性能监控：

   • 定期检查索引使用情况
   • 删除未使用的索引减少存储开销

3. 资源权衡：

   • 评估存储成本与查询收益
   • 对频繁更新的表谨慎使用

4. 测试验证：

   • 使用真实业务数据测试
   • 比较不同基数列的索引效果

通过合理设计和应用 Bitmap 索引，可以显著提升 StarRocks 在复杂分析查询场景下的性能表现。

starrocks StarRocks是一个开源的分布式数据分析引擎，用于处理大规模数据查询和分析。 - 功能：分布式数据分析；大规模数据查询；数据分析；数据仓库。 - 特点：高性能；可扩展；易于使用；支持多种数据源。 项目地址: https://gitcode.com/gh_mirrors/st/starrocks