CXL协议与GPU存储扩展技术解析

1. CXL协议与GPU存储扩展的技术背景

现代GPU在深度学习训练等计算密集型任务中面临严峻的内存容量挑战。以典型的大规模语言模型训练为例，模型参数、梯度、优化器状态和中间计算结果所需内存往往是模型参数本身的8倍以上。当前高端GPU的显存容量通常在数十GB到数百GB之间，这远远不能满足需求。传统解决方案如统一虚拟内存(UVM)和GPU直接存储(GPUDirect)存在显著性能瓶颈，主要源于主机运行时介入带来的高延迟（约500μs）和PCIe协议的开销。

CXL(Compute Express Link)协议的出现为解决这一困境提供了新思路。作为建立在PCIe物理层之上的开放标准，CXL通过三个关键子协议重构了内存扩展架构：

• CXL.cache ：维护计算资源间的缓存一致性，确保多处理器共享内存时的数据一致性
• CXL.mem ：通过PCIe传输实现读写操作，采用分组化通信的CXL flit格式
• CXL.io ：处理设备枚举和批量I/O通信，功能类似传统PCIe

与JEDEC/DDR标准不同，CXL的延迟特性体现在端到端的全路径上。如图3a所示，从主机CPU发出的内存请求需要经历以下关键路径：

1. 主机端事务层将请求转换为CXL flit
2. 链路层处理通信流控（缓冲和确认）
3. Flex Bus物理层通过链路速度和通道配置发送到目标端点(EP)
4. EP侧相同层栈处理
5. 到达内存控制器或SSD控制器
6. 从存储介质获取数据后原路返回

传统CXL内存扩展器的往返延迟约为250ns，而通过我们优化的CXL硬件层栈和控制器设计，这一指标被降低到两位数纳秒级别，实现了3倍以上的性能提升。

2. CXL控制器的硬件架构设计

2.1 硅基控制器实现

我们在7nm工艺上实现