starrocks- MPP数据库

最新推荐文章于 2025-09-10 23:29:41 发布

原创最新推荐文章于 2025-09-10 23:29:41 发布 · 1.3k 阅读

11 ·

CC 4.0 BY-SA版权

文章标签：

#数据库 #database #大数据 #数据仓库 #数据库架构

一.架构：

starrocks 支持存算一体架构 (每个 BE 节点将其数据存储在本地存储) 和存算分离架构 (所有数据存储在对象存储或 HDFS 中，每个 CN 仅在本地存储缓存)。

1.1 存算一体

主要由FE和BE两种角色组成，FE 负责元数据管理和构建执行计划，BE 执行查询计划并存储数据；BE 利用本地存储加速查询，并使用多副本机制确保高数据可用性。

FE分为 leader FE 节点、follower 节点和 observer 节点。leader选举是采取过半机制，从foller中选举leader。leader FE节点负责同步元数据到 Follower 节点和 Observer 节点，当超过一半的foller节点的元数据同步完成后数据才会被视为写入成功，observer节点主要用于增加集群的查询并发性。 observer 节点不参与主节点选举，因此不会增加集群的主节点选举压力。

BE负责数据存储和 SQL 执行。BE根据预定义规则转换导入的数据，将数据写入所需格式，并为数据生成索引。FE 将每个 SQL 查询解析为逻辑执行计划、物理执行计划。BE 在本地存储数据以及执行查询，避免了数据传输和复制。

1.2 存算分离

BE被CN 取代，负责数据计算任务和缓存热数据。除了可以扩展存储外，还可以随时添加和删除 CN 节点。因为存储和计算分离，增删节点也无需重新平衡数据。starrocks 存算分离集群支持两种存储解决方案：对象存储 (例如，AWS S3、Google GCS、Azure Blob Storage 或 MinIO) 和 HDFS。在存算分离集群中，数据文件格式与存算一体集群 (存储和计算耦合) 保持一致。数据存储为 segment 文件，云原生表（专门用于存算分离集群的表）也可以利用存算一体架构中支持的各种索引技术。

二、特性

2.1 MPP 分布式执行框架

一条查询在逻辑上切分为多个逻辑执行单元，一个逻辑执行单元由一个或多个物理执行单元实现，在多机并行执行，每个执行节点拥有独享的资源（CPU、内存）。MPP 执行框架能够使得单个查询请求可以充分利用所有执行节点的资源，所以单个查询的性能可以随着集群的水平扩展而不断提升。

2.2 全面向量化执行计算引擎

充分发挥了 CPU 的处理能力。与列式存储相结合，一次性执行一批数据，提高性能。

2.3 存储计算分离

存算分离模式下 starRocks 具备灵活弹性、高性能、高可靠、低成本等特点，实现了计算与存储的完全解耦、计算节点弹性扩缩容、高性能热数据缓存。

2.4 CBO优化器

基于代价，选出最优方案，更好地支持多表关联查询，特别是复杂的多表关联查询。

2.5 可实时更新的列式存储引擎

按照列存储，使用更加高效的编码方式，获得更高的压缩比，提高查询性能。导入数据速度快，而且是原子性的，要么全部成功，要么全部失败。

2.6 智能的物化视图

物化视图可以自动根据原始表更新数据，在进行查询规划时，如果有合适的物化视图能够加速查询，StarRocks 自动进行查询改写，将查询自动定位到最适合的物化视图上进行查询加速。

2.7 数据湖分析

不仅能高效的分析本地存储的数据，也可以作为计算引擎直接分析数据湖中的数据。

三、规划部署

3.1 节点数量

最少3台FE+最少3台BE

3.2 CPU+内存

FE最少8个CPU + 16GB

BE最少16个CPU + 64GB

3.3 存储

FE：仅维护元数据，建议100GB

BE ：原始数据大小 * 数据副本数/数据压缩算法压缩比/BE节点数，一个表中的数据首先被划分为多个分区（Partition），然后进一步被划分为多个 Tablet。默认维护三个副本。目前支持四种数据压缩算法：zlib、Zstandard（或 zstd）、LZ4 和 Snappy（按压缩比从高至低排列）。这些数据压缩算法可以提供 3:1 到 5:1 的压缩比。