16、快速远程持久内存访问的挑战与解决方案

快速远程持久内存访问的挑战与解决方案

在现代数据中心的发展进程中，非易失性主内存双列直插式内存模块（NVMM）的出现带来了新的变革。它打破了长期以来限制高性能网络系统性能的存储延迟壁垒，使得数据持久化所需的时间比数据中心网络往返时间更短，这一变化促使我们重新思考高性能网络系统的设计。

1. 引言

NVMM 如英特尔的 Optane DC 持久内存模块，具有亚微秒级的低延迟，这使得数据持久化的时间大幅缩短，逆转了以往持久化存储延迟高的趋势。过去，持久化存储介质（如最快的固态硬盘）的延迟高达约 10 微秒，为了在接近网络延迟的情况下运行，系统往往避免在请求的关键路径上同步数据到稳定存储，甚至牺牲一致性保证。如今，许多行业中的网络系统，如键值存储、数据库和对象存储等，都开始支持 NVMM。

研究人员也在预期 NVMM 的普及，重新设计了分布式系统，包括分布式事务处理系统、键值存储、网络栈、分布式文件系统和分离式持久内存等。然而，NVMM 具有与 DRAM 不同的基本特性，这些特性在实际的 DIMM 出现后才变得明显，导致之前基于 DRAM 的模拟技术无法准确捕捉 NVMM 的独特性能。

在构建高性能分布式系统时，我们发现 NVMM 存在一些网络级的挑战。除了已知的顺序访问性能高于随机访问、写入性能低于读取等特性外，还存在 PCIe 或 DMA 访问与 NVMM 内部块大小的相互作用，以及在特定工作负载（如网络计数器和时间戳）中出现的性能下降等问题。

造成快速远程访问 NVMM 困难的一个常见原因是 CPU 缓存未针对 NVMM 进行优化。我们识别了缓存与 NVMM 之间的次优交互，为未来硬件架构师提供了改进方向，并设计了适用于当前硬件的快速远程