StarRocks数据分布特性全面解析：分区与分桶策略详解

殷蕙予

于 2025-06-04 09:05:50 发布

阅读量279

点赞数 3

CC 4.0 BY-SA版权

本文链接：https://blog.youkuaiyun.com/gitblog_00292/article/details/148416507

StarRocks数据分布特性全面解析：分区与分桶策略详解

starrocks StarRocks是一个开源的分布式数据分析引擎，用于处理大规模数据查询和分析。 - 功能：分布式数据分析；大规模数据查询；数据分析；数据仓库。 - 特点：高性能；可扩展；易于使用；支持多种数据源。项目地址: https://gitcode.com/gh_mirrors/st/starrocks

引言

在分布式数据库系统中，数据分布策略直接影响查询性能、数据均衡性和系统扩展性。作为一款高性能分析型数据库，StarRocks提供了丰富的数据分布特性。本文将深入解析StarRocks支持的分区(Partitioning)和分桶(Bucketing)策略，帮助用户根据业务场景选择最优的数据分布方案。

分桶(Bucketing)策略

1. 分桶类型支持

StarRocks支持两种分桶策略：

哈希分桶(Hash Bucketing)
- 所有表类型均支持
- 通过指定分桶列，将数据均匀分布到不同Tablet
- 适合需要精确控制数据分布的OLAP场景
随机分桶(Random Bucketing)
- 仅Duplicate Key表支持(3.1+版本)
- 数据随机分布，无需指定分桶列
- 3.2+版本支持根据集群信息和数据量动态调整Tablet数量
- 适合数据导入频繁且不依赖特定列查询的场景

2. 分桶键数据类型

支持以下数据类型作为分桶键：

日期类型(Date)
整数类型(Integer)
字符串类型(String)

3. 分桶数量设置

自动设置分桶数(3.0+)
- 根据BE节点数量或历史最大分区数据量自动确定
- 分区表和非分区表采用不同的优化逻辑
动态增加分桶数(仅随机分桶,3.2+)
- 支持运行时动态调整分桶数量
- 提高系统弹性扩展能力

分区(Partitioning)策略

1. 分区类型支持

StarRocks提供三种分区策略：

表达式分区(Expression Partitioning,3.1+)
- 基于时间函数表达式(3.0+)或列表达式(3.1+)
- 支持的时间函数：date_trunc, time_slice
- 自动创建分区，简化管理
范围分区(Range Partitioning,3.2+)
- 3.3.0+支持特定时间函数：from_unixtime, from_unixtime_ms, str2date, substr/substring
- 支持批量手动创建分区或动态分区策略
列表分区(List Partitioning,3.1+)
- 基于离散值列表进行分区
- 3.3.3+版本支持分区键为NULL值

2. 分区键数据类型

基础支持：
- 日期类型(Date)
- 整数类型(Integer)
- 布尔类型(Boolean)
字符串类型(String)：
- 表达式分区和列表分区支持
- 范围分区需使用str2date等函数转换为日期类型

分区策略对比分析

| 特性 | 表达式分区(时间函数) | 表达式分区(列) | 范围分区 | 列表分区 | |------|----------------|----------------|---------|---------| | 数据类型 | 日期类型 | 字符串/日期/整数/布尔 | 字符串*/日期/整数 | 字符串/日期/整数/布尔 | | 多分区键支持 | 不支持 | 支持 | 支持 | 支持 | | 分区键NULL值 | 支持 | 不支持 | 支持 | 3.3.3+支持 | | 预创建分区 | 自动创建 | 自动创建 | 批量手动/动态 | 支持手动 | | 加载时自动创建 | 支持 | 支持 | 不支持 | 不支持 |