GreatSQL 开源数据库 & NVIDIA InfiniBand存算分离池化方案：实现高性能分布式部署

NVIDIA InfiniBand是一种被广泛使用的网络互联技术，基于IBTA(InfiniBand Trade Association)而定义的高带宽、低延时、低CPU占用率、大规模易扩展的通信技术，是世界领先的超级计算机的互连首选，为高性能计算、人工智能、云计算、存储等众多数据密集型应用提供了强大的网络性能支撑。通过高速的InfiniBand技术，将业务负载由单机运行转化为基于多机协作的高性能计算集群，并使高性能集群的性能得以进一步释放与优化。

GreatSQL是由万里数据库维护的国内自主MySQL分支版本，专注于提升MGR可靠性及性能，支持InnoDB并行查询特性，适用于金融级应用。

此次通过对比测试基于InfiniBand 的 NVMe SSD池化方案 及本地NVMe SSD的传统方案的性能表现，评估使用基于InfiniBand的存算分离架构对分布式数据库性能的提升程度及扩展性。

经过双方合作，通过大量数据分析，可以看出基于InfiniBand池化方案的存算分离架构的性能更优、稳定性更强，为GreatSQL实现更高性能的分布式部署提供了有力的技术平台支撑。

1、NVIDIA InfiniBand 池化方案介绍

分布式数据库集群由两部分组成：

1. 计算节点是无SSD盘的裸金属服务器，运行MySQL数据库服务程序；

2. 存储节点提供NVMe SSD资源池，通过软件聚合方式提供高性能Lun实现对于数据库的数据的存储服务；

两部分服务器通过Quantum 平台的InfiniBand网络实现对计算节点和存储节点的无损连接，结合NVMe-oF（NVMe over Fabric）高效的数据存储传输协议，将存储节点的Lun挂载到计算节点，实现结算节点本地高性能的数据存储能力。

2. 测试环境

为了可以公平对比两种方案的优劣，两次测试均采用同一台计算服务器进行测试，不同的是，本地方案存储由本地的PCIe4.0 NVMe SSD承载，InfiniBand 池化方案由100Gbps速率的HDR100网卡接入，通过相同型号的NVMe SSD组成的全闪服务器借助NVMe-oF提供高性能虚拟Lun完成数据访问。

2.1 存储设备

本次测试主要采取两种存储方案：

• InfiniBand + NVMe SSD设备

• 本机挂NVMe SSD设备

$ nvme list
Node                  SN                   Model                                    Namespace Usage                      Format           FW Rev
--------------------- -------------------- ---------------------------------------- --------- -------------------------- ---------------- --------
# InfiniBand + NVMe SSD设备
/dev/nvme0n1          MNC12                Mellanox BlueField NVMe SNAP Controller  1           1.10  TB /   1.10  TB    512   B +  0 B   1.0

# 本机挂载的两个NVMe SSD设备
/dev/nvme2n1          S5L9NE0NA00144       SAMSUNG MZWLJ7T6HALA-0007C               1           7.68  TB /   7.68  TB    512   B +  0 B   EPK99J5Q
/dev