某全球领先网络解决方案提供商：统一 Trino、Pinot、Iceberg 及 Kyuubi，探索 Apache Doris 的改造实践

导读：某全球领先网络解决方案提供商 早期数据平台采用了多系统架构（包括 Trino、Pinot、Iceberg 、 Kyuubi 等），面临架构复杂、数据冗余存储、运维困难、资源利用率低、数据时效性差等问题。因此，引入 Apache Doris 替换了 Trino、Pinot 、 Iceberg 及 Kyuubi 技术栈，依赖于 Doris 的实时数据湖能力及高性能 OLAP 分析能力，统一数据湖仓及查询分析引擎，显著提升了查询性能及系统稳定性，同时实现资源成本降低 30%。

某全球领先网络解决方案提供商数据平台从早期的多系统架构（包括 Trino、Pinot、Iceberg 、 Kyuubi 等）改造为基于 Apache Doris 的统一架构。使用 Doris 替换了 Trino、Pinot 、 Iceberg 及 Kyuubi 技术栈，统一数据湖仓及查询分析引擎。显著提升了查询性能及系统稳定性，同时实现资源成本降低 30%。新架构目前已应用于 CCA Peak Ports 项目、Dashboard 系统、统一认证授权等业务场景中。

早期架构及痛点

为适配复杂的业务需求，早期架构融合了多种技术栈。数据源通过 Kafka 进行数据抽取，由 UDP 调度系统（Unified Data Platform：调度 ETL/Spark/Flink 等数据处理任务的平台）将数据调度并存储到湖仓层的 Iceberg 中。Trino、Kyuubi 收到查询请求后提供查询服务，Pinot 主要用于 OLAP 分析。

由于该架构技术栈多样、结构复杂，在实际应用中引发了诸多问题：

• 运维困难： 多种数据库并存，运维管理工作也变得繁琐且困难。
• 资源利用率低：数据冗余严重，查询入口不统一，难以实现 CPU 和内存资源的高效利用。
• 数据一致性问题频发：多个技术栈中数据独立计算，计算口径不一致，常常引发用户负面反馈。
• 数据治理挑战： 元数据来源多样且格式各异，数据的准确性和一致性难以保障，直接影响了数据治理的效率。

基于 Apache Doris 统一技术栈

01 技术选型

因此迫切需要统一技术栈、降低技术架构的复杂度，同时希望实现性能提升、降低使用成本及简化运维。经过调研，他们发现 Apache Doris 具备的特性能够很好满足这些需求。具体如下：

• 数据湖能力： Apache Doris 支持 Multi-Catalog 多源数据目录，通过扩展 Catalog 和存储插件，无需将数据物理集中至统一的存储空间，仅借助 Apache Doris 即可实现多个异构数据源的统一联邦分析。目前支持 Hive、 Iceberg、Hudi、Paimon、Elasticsearch、