StarRocks x Iceberg：云原生湖仓分析技术揭秘与最佳实践

导读：

本文将深入探讨基于 StarRocks 和 Iceberg 构建的云原生湖仓分析技术，详细解析两者结合如何实现高效的查询性能优化。内容涵盖 StarRocks Lakehouse 架构、与 Iceberg 的性能协同、最佳实践应用以及未来的发展规划，为您提供全面的技术解读。

作者：杨关锁，北京镜舟科技研发工程师

一、StarRocks Lakehouse 架构介绍

1.1 什么是 Lakehouse

Lakehouse 湖仓一体架构是一种融合数据湖与数据仓库优势的新型架构，既具备数据湖开放统一的存储能力（支持多源异构数据低成本存储），又拥有数据仓库的高性能分析特性。其核心是构建统一数据存储底座（即 Single Source of Truth），基于同一套标准化数据资产，同时支撑多样化业务负载，覆盖企业 AI 建模、BI 分析等数据应用场景，实现从数据存储、治理到分析的全链路效率提升。

1.2 如何构建 Lakehouse

构建 Lakehouse 通常以低成本对象存储（如 S3、OSS）为统一存储底座，采用Iceberg、Hudi 等开放数据格式管理数据，以 Catalog 的形式向上层提供统一的数据访问控制和数据治理。上层整合 Spark、Flink、StarRocks 等计算引擎，可利用 Catalog 服务便捷地访问湖仓数据，实现“存储统一、计算灵活、治理可控”的湖仓一体架构。

1.3 基于 StarRocks 构建 Lakehouse

基于 StarRocks 来构建 Lakehouse 的核心路径为，首先选择一个开放的湖格式作为统一存储底座，在此之上创建 Catalog Service，然后即可直接使用 StarRocks 对湖上数据进行查询，同时可利用物化视图对查询进行透明加速。

与传统分层架构相比，Lakehouse 具有显著优势：

• 从数据处理流程来看，不需要维护 ETL 作业，整个流程更为简单。

• 从数据可信度来看，Lakehouse 始终遵循 Single Source of Truth，能够保证数据一致性。

• 从数据新鲜度来看，Lakehouse 在数据入湖之后就可以查询，消除了同步延迟，可以保证数据的时效性。

• 从数据存储成本来看，Lakehouse 只存储一份数据，避免了冗余存储带来的成本。

二、StarRocks x lceberg 极致性能揭秘

下文重点介绍 StarRocks 针对 Iceberg 的一些性能优化工作。

2.1 StarRocks 查询 lceberg 基本流程

在介绍具体的性能优化工作之前，先简单了解一下 StarRocks 查询 Iceberg 的基本流程。

FE 去 HMS 上获取对应的 Iceberg 元数据信息，包括表结构、分区的信息以及相关的需要访问的文件信息。

随后，FE 会将这些需要访问到的文件信息切成不同的 Scan Range，并基于一致性哈希路由到对应的 BE 上，BE 再对 Scan Range 进行执行和访问，必要的时候BE会去访问远端存储系统来获取相应的数据。

在上述流程中，性能瓶颈通常源于以下几个方面：

• 执行计划不优，初始方向错误，严重影响查询性能；

• Iceberg 元数据的获取与解析速度不足；