KaiwuDB| Google Spanner 经典架构回顾

前言

大数据时代 ，随着移动互联网和物联网技术的发展 ， 全球数据量呈现爆发式增长，已经远远超出集中式单机数据库的处理能力。CCF 数据库专委 2021 年发布的《“十四五”数据库发展趋势与挑战》显示， 各行各业海量数据的管理需求给数据库产业的发展带来了诸多挑战 ：

• 海量数据存储
传统集中式数据库容量大多在百 GB 至 TB 级别，伴随着各行各业数据爆发式增长，数据库所需存储的数据容量也在急剧增长且数量呈现指数级增长，从 TB 级别增加到 PB 级别，未来很快就会增加至 EB 级别；

• 海量并发访问
数据库的业务访问量也发生了量到质的变化，传统的业务模式业务访问仅局限于企业内部 ， 通常数百至数千并发即可满足。而在互联网及物联网模式下，数据库的访问服务于海量的联网终端用户，需要万级至百万级的并发支持能力；

• 基础设施的分布式
为了提升数据库的高可用，各行业在加速信息化基础设施的建设，从传统的两地三中心向分布式多地多中心变化，要求数据库从传统的可用区（AZ）内部署向跨 AZ、跨地域（region）的分布式部署架构演进。

基于上述背景，传统集中式数据库架构已无法有效满足新型互联网业务模式下的业务需求，而解决这些问题本质是要解决数据库扩展性问题，分布式数据库架构应运而生。根据时间线，现有解决方案大致可分为 3 个阶段 ：

• Step 1：将现有成熟关系型数据库（如 Oracle、SQL Server、MySQL 和 PostgreSQL 等）在分布式集群或者云平台上进行小规模扩展和部署；

• Step 2：放弃关系模型和已有的 ACID 事务特性，转向选择具备灵活的 schema-free 数据模型、高可用性和最终一致性特性的 NoSQL 数据库；

• Step 3： 融合关系型数据库和 NoSQL 二者优势的新型 NewSQL ** 数据库。

在这篇技术博客中，我们将深入探讨 Google 于 2012 年在系统领域国际会议 USENIX Conference on Operating Systems Design and Implementation（简称 OSDI）上发表的论文《Spanner：Google’s Globally Distributed Database》中所提出的经典分布式数据库 Spanner 架构及其核心技术。通过这些内容 ， 你将了解到 Spanner 如何在当时突破了技术瓶颈 ，为后续的分布式数据库技术发展奠定了基础。

Spanner 架构

Spanner 是谷歌提出的一种可扩展、支持多版本、全球分布和同步复制的数据库系统。作为全球第一个在大规模数据中心中实现强一致性和同步复制的数据库系统，Spanner 彻底颠覆了传统数据库的设计理念。该论文主要描述了 Spanner 的架构、关键特性、相关设计的基本考量。接下来，我们将对 Spanner 基础架构、TrueTime 机制、事务并发控制等关键特性进行详细介绍。

上图为 Spanner 整体架构，其中：

• Universe：一个 Spanner 部署被称为一个 universe。一个 Universe 下面包含多个 Zones，Zone 是 Spanner 管理、物理隔离和数据复制的基本单位。Universe 通过 universe master 组件来显示其所管理的所有 zone 的运行状态，通过 placement dri