StarRocks混合行列存储技术解析：架构设计与应用实践

StarRocks混合行列存储技术解析：架构设计与应用实践

starrocks StarRocks是一个开源的分布式数据分析引擎，用于处理大规模数据查询和分析。 - 功能：分布式数据分析；大规模数据查询；数据分析；数据仓库。 - 特点：高性能；可扩展；易于使用；支持多种数据源。 项目地址: https://gitcode.com/gh_mirrors/st/starrocks

混合存储架构概述

作为一款高性能OLAP数据库，StarRocks从3.2.3版本开始创新性地引入了混合行列存储模式。这种存储架构在保留原有列式存储优势的同时，通过增加行式存储层，实现了点查询性能的显著提升，为多样化业务场景提供了更灵活的解决方案。

核心技术对比

混合行列存储特点

1. 双重存储机制：

   • 系统会自动创建隐藏的二进制列__row，将每行数据的所有值列编码存储
   • 数据同时以行列两种形式存在，查询时可根据场景智能选择访问路径
   • 存储空间开销约为纯列存的1.5-2倍

2. 典型应用场景：

   • 基于主键的高并发点查询（QPS可达数千级别）
   • 小规模宽表的全字段查询
   • 多列少量行的更新操作（UPSERT）
   • 同时需要分析查询能力的业务场景

纯列式存储特点

1. 存储机制：

   • 数据按列独立存储，每列数据连续存放
   • 默认采用高效压缩算法（如字典编码、位图编码等）

2. 典型应用场景：

   • 大规模数据聚合分析
   • 多表关联复杂查询
   • 宽表场景下的少量列查询
   • 历史数据统计分析

实践应用指南

环境准备与表创建

1. 启用实验性功能：

ADMIN SET FRONTEND CONFIG ("enable_experimental_rowstore" = "true");

2. 建表示例：

CREATE TABLE user_behavior (
  user_id BIGINT NOT NULL,
  item_id BIGINT,
  behavior_type STRING,
  timestamp DATETIME,
  INDEX idx_ts (timestamp) USING BITMAP
)
PRIMARY KEY (user_id)
DISTRIBUTED BY HASH(user_id)
PROPERTIES (
  "store_type" = "column_with_row",
  "replication_num" = "3"
);

注意事项：

• 仅支持主键表（Primary Key）
• __row列大小限制为1MB
• 3.2.4+版本支持复杂类型（JSON/ARRAY等）

数据操作示例

1. 批量导入：

INSERT INTO user_behavior VALUES
(1001, 2001, 'click', '2023-01-01 10:00:00'),
(1002, 2003, 'purchase', '2023-01-01 11:30:00');

2. 点更新操作：

UPDATE user_behavior 
SET behavior_type = 'favorite' 
WHERE user_id = 1001 AND timestamp = '2023-01-01 10:00:00';

3. 删除操作：

DELETE FROM user_behavior WHERE user_id = 1002;

查询优化实践

1. 启用短路查询：

SET enable_short_circuit = true;

2. 高效点查询：

-- 主键精确查询（触发行存短路）
SELECT * FROM user_behavior WHERE user_id = 1001;

-- 主键IN查询（同样触发行存短路）
SELECT item_id FROM user_behavior 
WHERE user_id IN (1001, 1002) AND timestamp > '2023-01-01';

3. 执行计划验证：

EXPLAIN SELECT * FROM user_behavior WHERE user_id = 1001;
-- 查看输出中 Short Circuit Scan: true 确认走行存

高级功能：预处理语句

-- 准备语句
PREPARE get_user FROM 'SELECT * FROM user_behavior WHERE user_id = ?';

-- 执行查询
SET @uid = 1001;
EXECUTE get_user USING @uid;

性能优化建议

1. 存储规划：

   • 预估额外存储开销（行存部分约增加50%空间）
   • 设置合理的分桶数（建议每个分桶1-5GB数据）

2. 查询优化：

   • 确保点查询包含完整主键条件
   • 避免在WHERE子句中使用非等值条件
   • 对高频查询字段建立二级索引

3. 写入优化：

   • 批量写入优于单行频繁写入
   • 考虑使用Stream Load替代单条INSERT

当前技术限制

1. 功能限制：

   • 暂不支持共享数据集群部署模式
   • 不支持基于列存的局部更新功能
   • 3.2.4+版本支持ALTER TABLE操作

2. 性能限制：

   • 数据加载时可能阻塞点查询
   • 批量导入性能较纯列存有10-20%下降
   • 不适合替代专业OLTP数据库

3. 使用约束：

   • 最大行宽限制为1MB
   • 必须使用主键表模型
   • 不支持无主键的表结构

典型应用场景案例

电商用户画像系统：

• 使用混合存储同时支持：
  • 毫秒级用户属性查询（行存优势）
  • 用户行为分析报表（列存优势）
  • 实时用户标签更新

金融交易风控系统：

• 混合存储实现：
  • 单笔交易记录快速检索
  • 交易流水实时分析
  • 可疑交易模式识别

混合行列存储在StarRocks中的实现，为HTAP场景提供了新的技术选择，用户可根据业务特点灵活选择存储模式，在保证分析性能的同时获得更好的点查询体验。

starrocks StarRocks是一个开源的分布式数据分析引擎，用于处理大规模数据查询和分析。 - 功能：分布式数据分析；大规模数据查询；数据分析；数据仓库。 - 特点：高性能；可扩展；易于使用；支持多种数据源。 项目地址: https://gitcode.com/gh_mirrors/st/starrocks