StarRocks行存储与列存储混合设计深度解析

朱丛溢

于 2025-06-04 09:06:37 发布

阅读量278

点赞数 3

CC 4.0 BY-SA版权

本文链接：https://blog.youkuaiyun.com/gitblog_00454/article/details/148416605

StarRocks行存储与列存储混合设计深度解析

starrocks StarRocks是一个开源的分布式数据分析引擎，用于处理大规模数据查询和分析。 - 功能：分布式数据分析；大规模数据查询；数据分析；数据仓库。 - 特点：高性能；可扩展；易于使用；支持多种数据源。项目地址: https://gitcode.com/gh_mirrors/st/starrocks

混合存储架构概述

StarRocks作为一款高性能OLAP数据库，从v3.2.3版本开始创新性地引入了行存储与列存储混合设计（Hybrid Table）。这种设计巧妙结合了行存储和列存储的优势，为不同业务场景提供了更灵活的存储方案。

核心技术对比

混合存储架构特点

双模存储机制：
- 数据同时以行和列两种形式存储
- 自动生成隐藏的二进制列__row存储行格式数据
- 行存储采用紧凑的二进制编码格式
存储效率：
- 行存储压缩率通常低于纯列存储
- 额外存储开销约增加30-50%（取决于数据类型）
典型应用场景：
- 高并发点查询（主键查询）
- 需要返回整行数据的查询
- 部分列更新操作
- 同时需要分析查询和事务处理的混合负载

纯列存储特点

存储机制：
- 数据仅按列组织存储
- 每列数据独立压缩和编码
典型应用场景：
- 大规模数据分析
- 复杂聚合查询
- 宽表扫描少量列
- 多表连接查询

实战应用指南

混合表创建与配置

前置条件检查：

-- 检查实验性功能是否开启
SHOW VARIABLES LIKE '%enable_experimental_rowstore%';

创建混合表示例：

-- 启用实验性功能
ADMIN SET FRONTEND CONFIG ("enable_experimental_rowstore" = "true");

-- 创建电商用户表
CREATE TABLE ecommerce_users (
  user_id bigint not null COMMENT '用户ID',
  register_date date COMMENT '注册日期',
  user_name varchar(50) COMMENT '用户名',
  credit_score int COMMENT '信用分',
  last_login_time datetime COMMENT '最后登录时间',
  purchase_history json COMMENT '购买历史'
)
PRIMARY KEY (user_id)
DISTRIBUTED BY HASH(user_id)
PROPERTIES (
  "store_type" = "column_with_row",
  "replication_num" = "3"
);

数据操作最佳实践

高效数据加载：

-- 使用Stream Load进行批量导入
-- 适合初始数据迁移或大批量更新

-- 使用INSERT VALUES进行小批量插入
INSERT INTO ecommerce_users VALUES
(1001, '2023-01-15', '张三', 750, '2023-06-01 09:30:00', '{"total_orders":15}'),
(1002, '2023-02-20', '李四', 680, '2023-06-02 14:15:00', '{"total_orders":8}');

精准数据更新：

-- 部分列更新示例
UPDATE ecommerce_users 
SET credit_score = 720, last_login_time = NOW() 
WHERE user_id = 1001;

-- 基于JSON字段的更新
UPDATE ecommerce_users
SET purchase_history = JSON_SET(purchase_history, '$.total_orders', 16)
WHERE user_id = 1001;

数据删除策略：

-- 主键删除
DELETE FROM ecommerce_users WHERE user_id = 1002;

-- 批量删除（注意性能影响）
DELETE FROM ecommerce_users WHERE register_date < '2023-01-01';

查询优化技巧

短路扫描启用：

-- 确认短路扫描状态
SHOW VARIABLES LIKE '%enable_short_circuit%';

-- 启用短路扫描
SET enable_short_circuit = true;

高效点查询示例：

-- 主键精确查询（触发短路扫描）
SELECT * FROM ecommerce_users WHERE user_id = 1001;

-- 主键IN查询（同样高效）
SELECT user_name, credit_score 
FROM ecommerce_users 
WHERE user_id IN (1001, 1003, 1005);

执行计划分析：

EXPLAIN SELECT * FROM ecommerce_users WHERE user_id = 1001;
-- 关键指标检查：
-- Short Circuit Scan: true
-- partitions=1/1
-- tabletRatio=1/6

高级功能应用

预处理语句使用：

-- 创建预处理查询
PREPARE get_user_stmt FROM 
'SELECT user_name, credit_score, purchase_history 
 FROM ecommerce_users 
 WHERE user_id = ?';

-- 设置查询参数
SET @target_user = 1001;

-- 执行预处理查询
EXECUTE get_user_stmt USING @target_user;

混合查询模式：

-- 结合点查询和分析查询
SELECT u.user_name, a.total_amount
FROM ecommerce_users u
JOIN (
  SELECT user_id, SUM(amount) as total_amount
  FROM order_records
  GROUP BY user_id
) a ON u.user_id = a.user_id
WHERE u.user_id = 1001;

性能优化建议

主键设计原则：
- 保持主键简洁（推荐8字节以内）
- 避免使用过长的字符串作为主键
- 考虑查询模式设计复合主键
资源监控：
- 定期检查__row列大小
- 监控行存储带来的额外存储开销
- 关注数据加载时的CPU和内存使用情况
混合存储限制规避：
- 避免单行数据超过1MB
- 大批量更新时考虑分批次进行
- 分析查询优先使用列存储

典型应用场景

用户画像系统

-- 创建用户画像混合表
CREATE TABLE user_profiles (
  user_id bigint PRIMARY KEY,
  basic_info json,
  behavior_stats map<string, int>,
  tags array<string>,
  update_time datetime
) PROPERTIES ("store_type" = "column_with_row");

-- 快速查询用户完整画像
SELECT * FROM user_profiles WHERE user_id = 1001;

-- 分析特定标签用户群体
SELECT user_id 
FROM user_profiles 
WHERE array_contains(tags, '高价值客户');

实时交易监控

-- 创建交易记录表
CREATE TABLE transaction_monitor (
  trans_id varchar(36) PRIMARY KEY,
  account_id bigint,
  amount decimal(18,2),
  trans_time datetime,
  merchant_info json,
  risk_score float
) PROPERTIES ("store_type" = "column_with_row");

-- 实时交易查询
SELECT * FROM transaction_monitor WHERE trans_id = 'txn-123456';

-- 风险交易分析
SELECT account_id, SUM(amount) as total_risk_amount
FROM transaction_monitor
WHERE risk_score > 0.8 AND trans_time > NOW() - INTERVAL 1 HOUR
GROUP BY account_id;