高德地图应用OceanBase单元化构建下一代在线地图服务

OceanBase单元化构建高德下一代在线地图服务

原创

于 2025-05-27 17:31:05 发布 · 1.1k 阅读

22 ·

CC 4.0 BY-SA版权

文章标签：

#oceanbase

IEEE International Conference on Data Engineering (ICDE) 是数据库和数据工程领域的顶级学术会议之一（与SIGMOD、VLDB并成为数据库三大顶会），自1984年首次举办以来，每年举办一次。ICDE涵盖广泛的主题，包括数据库系统及其架构、数据管理与存储、大数据技术与应用、数据挖掘与知识发现、数据流处理与实时分析、分布式与并行数据库、数据隐私与安全等。本届会议接收到1518份投稿，共有300篇论文被接收发表，此外还包括10场Tutorials，11场workshop和28篇工业与应用论文研讨。

导读

OceanBase Unitization Building the Next Generation of Online Map Applications —— OceanBase单元化构建下一代在线地图应用，在“海量数据”和“多维度数据”管理的复杂场景下，分布式数据库被广泛用于为在线地图平台，以提供一致性、容灾和高性能的云服务保障用户的体验。

而传统的单宿主架构系统在大规模服务扩展方面面临严峻的挑战且需要复杂的架构同时满足在线事务处理 (OLTP) 和在线分析处理 (OLAP) 两个场景。因OceanBase的列存机制，让引擎变得更加灵活，支撑的场景更加多样化。

本文提出了 OceanBase (OB) 的架构设计，这是一个将服务和操作“单元化”到单个机器上的分布式数据库系统。单元化方法从单宿主迁移到跨多个区域的多宿主设计。通过利用这一特性，OceanBase 确保了机器离线时的数据复制和无缝的服务切换。然而，区域之间的通信开销有时会很重。

为了解决这个问题，OceanBase 将读写操作单元化，并采用混合集中化和单元化方法，并针对 OLTP和OLAP 进行了动态优化。为了验证我们的设计，我们将 OceanBase 部署在高德地图（一个支持大规模分布式服务的在线地图应用平台）上。通过一系列实验，我们证明了 OceanBase 展现出增强的容灾能力，并在写密集型和读密集型基准测试中均实现了性能提升。

论文主题：
OceanBase Unitization: Building the Next Generation of Online Map Applications
论文链接：

https://www.computer.org/csdl/proceedings-article/icde/2025/360300e183/26FZCoh4LOU

*当届会议在工业界通常有一篇Best Paper和一篇Best Paper Runner Up（最佳备选）。

想法出自：促科技创新：高德数据优化篇之OceanBase最佳实践

Introduction

随着数据量的快速增长，分布式数据库系统的使用已成为当今互联网行业的主流趋势。谷歌、支付宝等领先的互联网公司都开发了自己的分布式数据库系统。在分布式场景中，数据库系统部署在多个节点上，并通过网络互连，从而创建一个逻辑上统一的数据库系统。通过将工作负载分布在多个节点上，它们可以以最小的延迟处理并发事务请求，从而高效地服务于大量用户并支持稳健的业务。

在分布式系统中，高可用性和高性能已成为评估有效性的两个关键指标。在独立的数据库系统中，单个服务器的故障可能导致严重的停机时间并阻塞后续的查询请求。这种限制使得单点服务器和应用程序容易受到瓶颈影响。

为了解决这个问题，许多系统采用了灾难恢复技术，例如添加机器和拆分应用程序。例如，在众多金融业务场景中，跨多个互联网数据中心 (IDC) 的横向扩展模式已被广泛采用。然而，对于拥有数亿用户的系统，仅仅依靠 IDC 级别的灾难恢复可能显得不足。部署层面的灾难恢复至关重要，将 IDC 分布在不同地理位置，以防范地震、海啸等潜在威胁。

通常，像银行系统这样的典型系统会采用经典的“两城三中心” IDC 部署要求。灾难恢复在确保系统在灾难性破坏面前的韧性方面发挥着至关重要的作用。然而，系统能够及时处理大规模请求，最大限度地降低最终用户的延迟也同样重要。虽然单点读写可以保证数据一致性，但在请求量巨大的情况下，会导致性能瓶颈。

为了解决这个问题，许多系统选择将数据和计算资源分布在不同节点上，从而实现服务的分布式部署。每个用户的请求都会被定向到一个独立的节点，并在该节点内对分区数据执行读写操作。在某些复杂的情况下，用户的服务