天翼云：Apache Doris + Iceberg 超大规模湖仓一体实践

导读：天翼云基于 Apache Doris 成功落地项目已超 20 个，整体集群规模超 50 套，部署节点超 3000 个，存储容量超 15PB。天翼云基于 Apache Doris 和 Apache Iceberg 构建的湖仓一体方案，兼具灵活性、高性能和低成本优势，同时满足了报表和 BI 分析、湖仓融合分析、日志存储分析、高并发实时分析、MPPDB 国产化替代等多种场景需求。

本文转录自李康（天翼云 大数据总监）在 Doris Summit Asia 2024 上的演讲，经编辑整理。

天翼云是中国电信旗下一家科技型、平台型、服务型公司，以“云网融合、安全可信、绿色低碳、生态开放”四大优势向客户提供公有云、私有云、专属云、混合云、边缘云全栈云服务。目前，天翼云基于 Apache Doris 成功落地项目已超 20 个，整体集群规模超 50 套，部署节点超 3000 个，存储容量超 15PB。 天翼云基于 Apache Doris 和 Apache Iceberg 构建的湖仓一体方案，兼具灵活性、高性能和低成本优势，同时满足了报表和 BI 分析、湖仓融合分析、日志存储分析、高并发实时分析、MPPDB 国产化替代等多种场景需求。

Apache Doris 湖仓一体方案

天翼云数据来源众多，在数据整合和共享方面面临挑战。早期采用的数据仓库与数据湖分离的架构导致数据分散在不同系统和存储中，形成了数据孤岛。此外，面对大规模和多样化数据时，常常遭遇性能不足和灵活性差的问题。

为此，天翼云全新架构基于 Apache Doris 和 Apache Iceberg 实现湖仓一体方案，构建了一个兼具灵活性、高性能和低成本的数据平台。

天翼云的数据来源多样，包括 B 域、O 域和 M 域等多方数据。数据通过 Kafka 进行采集，并使用 Flink 和 Spark 实现数据加工处理。依据数据时效性的需求，数据被接入 Iceberg 数据湖或 Doris 内部存储。在这一架构中，Doris 扮演了两个重要角色：

• 数据湖分析处理引擎： Doris 与 Iceberg 数据湖深度融合，能够直接访问 Iceberg 表中数据，实现湖中数据的加速查询。分析结果不仅可以展示给应用层，也可以通过 Doris 写回到 Iceberg 中进