传统 OLAP 系统的局限
在大数据实时分析领域,数据模型设计直接决定了系统的查询性能、存储效率与业务适配性。Apache Doris作为新一代MPP分析型数据库,通过独创的多模型融合架构,在业内率先实现了"一份数据支持多种分析范式"的能力。本文将深入解析Doris的三大核心数据模型及其背后的设计哲学。
在 Doris 出现之前,传统的 OLAP 系统通常面临以下的局限性:
- 预聚合模型,牺牲灵活性换取性能,无法支持明细查询;
- 全量明细模型,保留原始数据但查询效率低下;
- Lambda 混合架构,又会导致架构复杂,而且会有数据一致性风险。
Doris 数据模型技术实现
Doris 通过数据模型来定义数据存储和管理方式,当前提供了明细模型、聚合模型以及主键模型三种表模型,不同的模型具有相应的数据去重、聚合和更新机制,满足不同应用场景需求。
明细模型 (Duplicate Key Model)
明细模型下的数据存储类似于传统数据库,允许指定的 Key 列重复,一般数据只进行追加,现有数据不更新或少量更新。 Doris 存储层保留所有写入的数据,既不去重也不聚合。
虽然无法利用预聚合特性,但是不受聚合模型的约束,可以发挥列存模型的优势。适合任意维度的 Ad-hoc 查询,典型的应用场景如日志存储、交易数据和用户行为数据查询等。

主键模型 (Unique Key Model)
每行 Key 值唯一,确保给定的 Key 列不会存在重复行,基于主键进行 UPSERT 更新,Doris

最低0.47元/天 解锁文章
981

被折叠的 条评论
为什么被折叠?



