StarRocks主键表深度解析：实时更新与高效查询的完美结合-优快云博客

本文链接：https://blog.youkuaiyun.com/gitblog_00954/article/details/148416559

StarRocks主键表深度解析：实时更新与高效查询的完美结合

starrocks StarRocks是一个开源的分布式数据分析引擎，用于处理大规模数据查询和分析。 - 功能：分布式数据分析；大规模数据查询；数据分析；数据仓库。 - 特点：高性能；可扩展；易于使用；支持多种数据源。项目地址: https://gitcode.com/gh_mirrors/st/starrocks

什么是主键表

主键表（Primary Key table）是StarRocks项目中设计的一种特殊表类型，它采用全新的存储引擎设计，主要优势在于支持实时数据更新的同时，还能保证复杂即席查询的高效性能。在实时业务分析场景中，决策者可以利用主键表的最新数据进行实时结果分析，有效缓解数据分析中的数据延迟问题。

主键表的主键具有唯一性约束和非空约束，用于唯一标识表中的每一行数据。当新数据行的主键值与表中已有数据行的主键值相同时，会发生唯一性约束冲突，此时新数据行将替换原有数据行。

适用场景

主键表特别适合以下需要实时数据更新且要求高效查询性能的场景：

事务处理系统实时流式导入：当需要从交易处理系统（如MySQL）实时同步数据到StarRocks时，主键表是最佳选择。相比采用Merge-On-Read策略的唯一键表，主键表能提供3-10倍的查询性能提升。
多流合并部分列更新：在用户画像等业务场景中，主键表支持单列更新功能，每个应用或系统可以只更新自己服务范围内的列，同时享受实时数据增删改和高查询性能的优势。

核心技术原理

与传统策略对比

传统唯一键表和聚合表采用Merge-On-Read策略，虽然使数据写入简单高效，但在数据读取时需要在线合并多个版本的数据文件，严重影响查询性能。

Delete+Insert策略

主键表采用Delete+Insert策略，通过主键索引和DelVector实现：

写入过程：
1. 通过内部Loadjob批量处理数据变更操作
2. 对于Delete操作，使用主键索引找到原始数据位置并在DelVector中标记删除
3. 对于Update操作，实际上转换为Delete+Insert两步操作
读取过程：
1. 由于历史重复记录已在写入时标记删除
2. 只需读取具有相同主键值的最新数据行
3. 过滤操作符和各种索引帮助减少扫描开销

这种策略消除了在线合并多个版本数据文件的需求，使查询性能提升3-10倍。

底层存储结构

StarRocks作为分析型数据库，采用列式存储：

Tablet：表根据分区和分桶机制划分为多个Tablet，是实际的物理存储单元
Rowset：逻辑概念，存储一批数据变更的数据集
Segment：实际存储数据的列式文件，包含列值和相关索引信息
主键索引：存储主键值与数据行位置的映射关系
DelVector：存储每个段文件的删除标记

实际应用指南

创建主键表

基本语法示例：

CREATE TABLE orders1 (
    order_id bigint NOT NULL,
    dt date NOT NULL,
    user_id INT NOT NULL,
    good_id INT NOT NULL,
    cnt int NOT NULL,
    revenue int NOT NULL
)
PRIMARY KEY (order_id)
DISTRIBUTED BY HASH (order_id);

高级创建选项

考虑数据分布和排序键的优化示例：

CREATE TABLE orders2 (
    order_id bigint NOT NULL,
    dt date NOT NULL,
    merchant_id int NOT NULL,
    user_id int NOT NULL,
    good_id int NOT NULL,
    good_name string NOT NULL,
    price int NOT NULL,
    cnt int NOT NULL,
    revenue int NOT NULL,
    state tinyint NOT NULL
)
PRIMARY KEY (order_id,dt,merchant_id)
PARTITION BY date_trunc('day', dt)
DISTRIBUTED BY HASH (merchant_id)
ORDER BY (dt,merchant_id)
PROPERTIES (
    "enable_persistent_index" = "true"
);