Hammerspace超大规模NAS架构

概述

本文将简要介绍Hammerspace超大规模NAS架构（Hyperscale NAS），包括架构本身的描述、其独特之处以及相对于其他NAS架构的优势。

超大规模NAS是一种新型NAS架构。它是第一个将HPC并行文件系统的极致性能和规模与基于标准的企业级NAS功能相结合的架构。它非常适合为大规模GPU计算提供支持，用于AI训练和推理等场景，也非常适合任何需要并行处理和高吞吐量、低延迟存储的场景。

与纵向扩展NAS（Scale-Up NAS）和横向扩展NAS（Scale-Out NAS）架构不同，超大规模NAS是为下一个数据时代而构建的，其主要特点是通过机器和传感器生成的非结构化数据，这些数据对于许多应用都至关重要，包括生成式AI和LLM培训。

超大规模NAS架构将HPC并行文件系统性能与企业NAS标准、易用性和数据管理相结合

超大规模NAS架构

超大规模NAS架构是第一个使用具有灵活文件布局类型的并行NFS（带有FlexFiles的pNFS）的架构，是NFSv4.2规范的一部分，也是当今Linux内核的一部分。

如上图所示，超大规模NAS系统中的所有协议都是基于标准的：

Linux客户端使用NFSv4.2访问NFS存储卷，当然也可以使用NFSv3和SMB访问。（NFSv4.2会自动将元数据路径和数据路径分开，获得极致性能）

当客户端需要读取或写入时，它们会连接到元数据服务器（图中Hammerspace Anvil元数据管理节点）以获取文件布局，该布局描述了存储路径。FlexFiles布局类型使用标准NFSv3作为元数据服务器和存储系统之间的控制协议。

元数据和数据是分开的，以提供最大的性能和数据放置灵活性。一旦客户端获得布局，它就可以使用NFSv3通过多条路径直接写入一个或多个存储系统。

由于控制协议和数据访问协议都是标准NFSv3，因此超大规模NAS系统可以利用任何NFSv3供应商的任何存储系统或存储系统组合。

扩展容量和性能只需根据需要添加更多存储节点和客户端即可。存储节点可以是商用NAS存储系统、运行Linux的存储服务器或两者的任意组合。NVMe存储服务器通常用于低延迟应用，但也可以使用基于HDD或SSD的存储或任意组合。

结果：任何客户端都可以直接读取和写入数据到多个存储卷，以实现高吞吐量和低延迟性能，并且只需向集群添加更多客户端和存储即可扩展性能和容量。

超大规模NAS架构特性

混合I/O工作负载的极高性能

包括流式传输大型文件、读取密集型应用程序和随机读写工作负载，为数千个并发用户和数万个GPU提供一致的性能。

性能可线性扩展

从几个节点扩展到数千个存储节点、EB级容量和数十亿个文件，同时保持一致的I/O性能。根据需求扩大或缩小集群。

基于标准

任何Linux服务器都可以成为客户端，使用标准NFS直接访问任何存储卷。Hammerspace超大规模NAS架构是第一个利用Flex Files的并行NFS架构，这些功能是NFSv4.2规范的一部分，并包含在每个标准Linux发行版中。

带外元数据路径与直接数据路径

元数据和数据路径被分开，以最大限度地提高性能并提供放置灵活性。客户端直接读取和写入存储卷。

软件定义

Hammerspace可以在物理服务器、虚拟主机和所有主要云提供商中部署 超大规模NAS。

与存储无关

超大规模NAS集群可以构建在具有NVMe、SSD或HDD的标准存储服务器上，并且可以支持包括NAS、块、对象、云甚至磁带在内的各类型存储。

网络技术

超大规模NAS架构不依赖于任何特定的网络技术或协议。TCP和RDMA均支持，并且可以使用以太网或InfiniBand构建网络。

企业数据治理和数据管理

Hammerspace的超大规模NAS拥有丰富且可自动化的数据服务，可满足企业IT团队、安全团队和AI团队对数据保护、数据管理和数据治理的要求。

超大规模NAS与横向扩展NAS比较

横向扩展NAS（即便是使用NVMe-oF进行内部联网的架构）非常适合扩展容量，但随着更多存储节点添加到集群中，性能会受到限制。相比之下，超大规模NAS架构可为数千个节点提供线性扩展能力，同时保持一致的吞吐量和IOPs性能。

此外，横向扩展NAS需要两个网络 - 客户端网络和存储网络，这既增加了客户端服务器和存储之间的“跳数”（这会增加延迟），也需要更多网络端口。横向扩展NAS需要的网络端口是超大规模NAS的2到3倍，具体取决于用例和规模。

Hyperscale NAS架构具有更高效率，是唯一适合大规模GPU计算的NAS架构

超大规模NAS架构可以加速现有NAS存储

Hammerspace的超大规模NAS架构与存储无关，Hammerspace具有独特的能力，能够从现有NAS存储中“吸收”数据，而无需迁移数据。这意味着在现有NAS存储 “前面” 部署Hammerspace即可提升现有存储性能。

在需要高吞吐和低延迟的场景中，横向扩展NAS架构存在两个潜在问题。首先，数据路径位于控制器中，可能成为瓶颈。第二，数据和元数据操作混合在一起，降低了两者的性能。

在横向扩展NAS “前面” 部署Hammerspace超大规模NAS架构有几个好处：

首先，使得元数据路径与数据路径分离，从而减轻了存储系统的负担并提高了性能。

其次，绕过存储控制器，消除了瓶颈，让客户端（此图中的渲染节点）可以直接读取/写入横向扩展NAS存储节点。

第三，通过使用具有Flex Files布局的pNFSv4.2，路由是动态的，并且可以在所有可用的存储节点上并行扩展和负载平衡。换句话说，超大规模 NAS架构使现有的横向扩展NAS能够跨存储集群中的多个节点并行化I/O。

Hammerspace Hyperscale NAS可以提高底层横向扩展NAS存储性能，而无需对这些系统进行修改

用户和应用程序可通过NFS或SMB同时访问数据

除了使用pNFSv4.2和FlexFiles为客户端和存储之间提供直接数据路径外，Hammerspace软件还支持NFSv3和SMB协议。

如下图所示，这是使用Hammerspace数据服务 (DSX) 节点实现的，这些节点充当底层存储的门户。存储可以直接连接到DSX节点，也可以通过网络连接。

借助Hammerspace，用户和应用程序可通过任何支持的客户端协议同时访问相同的数据

亮点：

• 所有数据均可通过NFS和SMB同时访问

• 权限与锁定均遵守两者之间协议

• Hammerspace支持任何托管存储系统之间的数据实时移动

结束语：超大规模NAS架构被证明是AI模型训练效率最高的架构

超大规模NAS架构已被证明是世界上最快的AI模型训练架构，其生产中的存储集群现已超过1,000个存储节点，并以12.5TB/秒的速度为32,000个 GPU提供数据（Meta使用Hammerspace构筑其GenAI存储基础架构 - 为2万4千张GPU卡提供12.5TB/秒带宽）。整个集群基于标准，在现成的通用存储服务器上运行，并且不需要任何特殊软件，任何Linux服务器都可以作为客户端。