Doris,新一代实时数仓核心基础设施

Apache Doris:新一代实时数仓核心设施

起源发展

Apache Doris是一款开源的、面向实时分析的分布式MPP(大规模并行处理)数据库系统,其前身是百度Palo项目。

  • 2012年为了满足数据量快速增长和实时分析的迫切需求,百度开始着手研发Palo;
  • 2017年将其捐赠给Apache基金会并更名为Doris, 之后进入Apache孵化器,迅速吸引了包括美团、京东、小米等互联网企业的关注,在架构和能力上获得了非常大的改进,支持数千节点级的扩展,引入向量化执行引擎,TPC-H性能提升3-5倍,并实现了存算分离架构原型;
  • 2022年正式毕业成为顶级项目,并于2023年发布2.0版本,支持事务型分析能力。

核心特点

作为新一代实时分析型数据库,Doris具有以下的核心技术特点,这些特性共同构成了其在OLAP领域的核心竞争力。

  • 极速分析能力

Doris采用MPP并行计算框架,查询任务可自动拆分为多个子任务,在后端节点并行执行实现线性扩展。支持列式存储引擎和向量化执行引擎,基于SIMD指令集的批量处理模式,LLVM动态编译优化,关键算子性能提升3-5倍。

  • 实时分析能力

Doris具有高效的更新能力,主键模型支持UPSERT操作和部分列更新技术,避免全行重写开销,Kafka的实时流摄入能够将延时控制毫秒级,通过预聚合Rollup自动匹配查询和增量刷新机制,物化视图能够捕获数据秒级变化,实现实时查询。

特性 Doris Hadoop生态(Hive+Spark)
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值