【干货】华为云图数据库GES技术演进

华为云开发者联盟

墨衍会员 · AI 创作全网分发码龄10年

关注

原创 2023-08-25 16:29:21 1.1k 阅读 AI 写同款· GEO 优化 ›

本文分享自华为云社区《【干货】华为云图数据库 GES 技术演进》，作者： Chenyi。

1背景

大规模图数据无处不在，图查询、分析和表示学习已成为大数据和AI的核心部分之一。特别是知识图谱和图神经网络的发展，Graph已成为未来AI的基础。

各式各样的图数据

面向未来，图数据库在数据规模、多维关系、时空动态性、异构计算体现上面临着新挑战：

1、图数据规模不断增长，万亿边超大规模图普遍存在，对产品性能和可扩展性提出新的需求。

2、时空图、异质和多关系图在政务、安平、金融、知识图谱等领域越来越普遍，对产品的图数据模型和存储带来新的需求。

3、图神经网络等图表示学习的兴起，需要新的计算框架支持，为传统深度学习框架和图计算框架的融合带来新的机会。

4、GPU、FPGA和图加速器异构计算系统为图引擎带来新的需求和机会。

Graph是大数据分析平台的重要组成部分，在传统批流分析之外提供更多的高级分析能力；主要分为图数据库和图计算引擎两大能力：

图数据库，具备图存储和计算能力，支持事务、数据更新、查询语言，偏TP类场景，用于实时要求高、逻辑相对简单的场景。例如：寻找两商户间最短路径；查找疑似洗钱卡的转账路径。
图计算引擎，侧重复杂查询和全局计算，使用图分析算法，偏AP类场景，用于实时要求不高、数据量大的场景。例：生成持卡人关系网络，根据套现模型批量输出套现卡。

概况说来，Graph的核心能力是：“深度关系挖掘”、“关系高效查询”、“高效社团分析”、“路径直观显示”。

一个用Graph来分析【疫情传播】的例子

1.1趋势1：面对海量多样化数据，数据分析变得更复杂，图相关技术迅速普及

Gartner曾在多次分析师报告中提及图技术的重要性：

Gartner把Graph以及相关的技术列为2021数据以及分析技术相关10大趋势之中。
Gartner预测到2025年, 图相关技术使用率会从10%(2021)增长到80%。
“到2023年，图计算将促进全球30%企业的快速决策场景化。需要图还是不需要？这已不再是个问题，一定是需要。”

1.2 趋势2: 各家查询语言不一，有碍图数据库普及，GQL有望成为统一语言

历史上，图数据库并没有标准的查询语言，只有Cypher和Gremlin这种事实标准（即使用的比较广泛产品的查询语言），且新产品也不断衍生各自的查询语言，语法的不统一令使用门槛增高，对本领域的普及造成了不利影响。

GQL由WG3主导（WG3 从1987年起负责SQL标准的制定）。GQL 将建立在 openCypher Morpheus 的基础上(它将 Cypher 引入到 Apache Spark)，并结合来自 LDBC 的 G-CORE 的灵感，为用户提供了一种组合图查询语言，支持所有那些功能，这将使 GQL 在概念上等同于 SQL。

2 技术洞察

2.1图数据库主流系统技术分析

上表列举了主流图数据库系统的分析情况，我们的观点是：

图数据库相比于关系型数据库发展落后(多租户和云原生能力匮乏，查询优化能力普遍不足)
主流图数据库高并发混合负载差
- 不支持高并发下混合负载查询性能隔离
- 不支持多查询查询QoS(Quality of Service)
- 对于混合型负载(大小graph query混合)几乎没有针对性优化
主流图数据库对于融合数据分析(query类型混合)几乎不提供任何优化
- 绝大多数系统不具备融合分析能力
- 少数系统具体初级的融合分析能力, 但是不具备对于融合查询进行整体优化
主流图数据库对云原生的支持差
- 仅AWS Neptune针对云原生环境进行了优化

2.2 图分析、图学习主流系统技术分析

上表列举了主流图分析、图学习系统的分析情况，我们的观点是：

主流图分析系统面向大规模图场景，以分布式内存架构为主，多定位离线图计算，不支持实时数据更新，对复杂OLAP类的交互式查询支持较弱。
主流图学习系统构建于现有的深度学习系统，以PyTorch为主，分布式训练的性能一般。
主流图分析系统和图学习系统是割裂的，一般通过文件来交互，在统一图采样、图与NN融合调度上可以进一步优化。
GPU、FPGA等异构体系探索还比较初级。

总结来说，图数据库和图引擎面向广泛的使用场景，提供的能力一定也是从基础往高阶发展的，技术洞察中标识为红色的部分，也是我们认为提供高阶能力所必备的差异化竞争力。

3 华为云图数据库技术演进

华为云图数据库（GES）自2018年上线以来，经历过3个时期，从18年到21年为1.0时代，从22年到现在为2.0时代，未来将会往3.0时代演进。

下图展示GES各个版本的技术架构以及相对应的特点，在后面的部分会详细展开分析。

3.1GES 1.0：查询分析一体化、高性能

GES 1.0是基于分布式内存架构的，主打查询分析一体化和高性能的查询和分析。通过只存一份数据，可以较好的兼顾了图查询任务和图分析任务，比如数据增删改能够立马被查询到，快速参与后续的计算任务，省去了不同系统的数据同步。当然，该架构由于采用分布式内存的方式来存储全量数据，相较于持久化方案来说成本会较高，极端情况下的故障恢复较长。但总体来说，应对百亿规模的图数据处理和分析还是能够轻松应对的。

3.2 GES 2.0：大规模、持久化、DSL、动态图

GES 2.0是当前产品重点发展的技术路径，核心是面向千亿到万亿的图数据规模，通过持久化存储来降低成本，同时兼顾查询效率、计算性能和使用上的便捷性。这里，我们将图数据库和图计算引擎解耦开了，各个组件直接独立演进，同时统一存储里的数据同步是由系统内置的，用户无需感知，保证了从1.0往2.0迁移时使用体验的一致性。