华为《GaussDB: A Cloud-Native Multi-Primary Database with Compute-Memory-Storage Disaggregation》论文被国际数据库顶会VLDB 2024收录,该论文创新性提出了GaussDB云原生数据库的三层池化解耦架构,以及实现多节点透明多写的核心技术。通过三层池化解耦技术,显著提升了云数据库弹性能力;通过分布式内存缓冲池、热温冷数据分层自适应读写、本地亲和性读写、数据智能路由与汇聚、细粒度页面级Lamport LSN等技术,提升了数据库的透明多写性能;通过内存和磁盘双检查点、Past Image就近页面恢复等机制,实现节点故障秒级恢复(RTO<6s),存活节点持续运行,业务不中断;提出计算层无状态设计机制,实现了秒级计算节点弹性伸缩,提出了基于Bucket的细粒度一致性哈希算法,实现内存节点在线弹性扩展。
下面对论文进行全方位解读,揭开GaussDB云原生数据库的面纱。
背景介绍
新应用场景持续涌现、业务负载快速增加,叠加新硬件技术的不断突破,成为推动数据库架构演进变革的重要推力。OLTP关系型数据库自问世以来,先后出现了主备架构、shared-disk多主架构、shared-nothing分布式架构和云原生存算分离主备架构。如何在云环境下充分发挥先进硬件优势,突破现有架构吞吐扩展能力瓶颈,成为近些年工业界和学术界研究的热点,云原生三层解耦多写数据库正是在这样的背景下产生的。
核心技术解读
高性能
以D*和O*为代表的传统shared-disk多主架构,支持多节点透明多写,具备一定的吞吐扩展能力,在很长一