云原生时代的架构革新，Apache Doris 存算分离如何实现弹性与性能双重提升

最新推荐文章于 2025-09-29 13:04:18 发布

原创

最新推荐文章于 2025-09-29 13:04:18 发布 · 1.1k 阅读

23 ·

CC 4.0 BY-SA版权

文章标签：

#云原生 #doris #存算分离 #数据库 #大数据

导读： 随着云基础设施的成熟，Apache Doris 3.0 正式支持了存算分离全新模式。基于这一架构，能够实现更低成本、极致弹性以及负载隔离。本文将介绍存算分离架构及其优势，并通过导入性能、查询性能、资源成本的测试，直观展现存算分离架构下的性能表现，为读者提供具体场景下的使用参考。

在数据驱动决策的时代，数据规模增长加快、分析需求不断变化。数据从多种渠道（如应用日志、网络交互、移动设备等）源源不断地流入，包含结构化、半结构化、非格式化等多种数据格式，这对数据的存储和分析提出了很高的挑战。与此同时，企业对实时分析、探索性查询的需求激增，要求系统在保证毫秒级响应能力的同时，兼具极致的成本效益与弹性扩展能力。

Apache Doris 诞生于存算一体的分布式时代，是典型的 Shared Nothing 架构：BE 节点上存储与计算紧密耦合、多 BE 节点采用 MPP 分布式计算架构，这种架构带来了高可用、极简部署、横向可扩展以及强大的实时分析性能等一系列核心特色。在实时分析、小规模数据处理等场景中，凭借可预期的稳定低延迟表现，具有不可替代的优势。但在面对大规模数据处理时面临一些挑战，主要体现在：

成本高且弹性不足： 合理平衡存储和计算资源较为困难。存储方面，集群必须足够大以容纳所有数据；因此计算资源的分配既要满足查询请求，又要避免浪费。然而，调整集群规模通常耗时较长，企业往往选择过度配置集群以简化运维操作，这就导致资源浪费和成本增加。
受限的负载隔离： Apache Doris 2.0 开始支持 Workload Group 实现软限隔离，也支持 Resource Group 实现一定程度的硬限隔离，但是这两种方式都无法达到彻底的物理隔离。
运维难度较大： OLAP 系统内置分布式存储系统，不仅需要运维计算节点，还需有效管理存储系统。而存储系统的管理要求非常高，任何不当操作都可能导致数据丢失。

即使如此，在没有稳定且大规模存储支持的情况下，存算一体架构依然是最好的选择。

随着云基础设施的成熟，越来越多的企业都希望 Apache Doris 能更深度地适应公有云、私有云和 K8s 容器平台，以提供更灵活的弹性能力。公有云提供无需预置空间的成熟对象存储和计算资源按需购买，私有云则通过 K8s、MinIO 等技术构建资源平台。云基础设施的成熟，也推动了 Apache Doris 存算分离架构的实现，使更低成本、极致弹性、负载隔离成为可能。