Cooling Matters: Benchmarking Large Language Models and Vision-Language Models on Liquid-Cooled V...

文章主要内容总结

本文针对大型语言模型（LLMs）和视觉-语言模型（VLMs）在液冷与空冷的8×NVIDIA H100 GPU系统上的性能与能效进行了基准测试。研究通过GPU Burn、Weights & Biases、IPMItool等工具收集热学、功率及计算数据，对比了两种冷却系统的表现。结果显示：液冷系统能将GPU温度稳定在41–50°C，而空冷系统温度波动在54–72°C；液冷系统性能更高（54 TFLOPs/GPU vs 空冷46 TFLOPs/GPU），能效比更优，节点级功耗更低（平均低980 W），且在LLMs和VLMs训练中均保持更稳定的热性能和更高的吞吐量。研究证实液冷技术在超大规模数据中心优化AI基础设施中的能源与可持续性优势。

创新点

1. 首次实证对比：首次在相同GPU硬件配置（8×H100）下，对液冷和空冷节点上的LLM及VLM训练工作负载进行实证比较。
2. 多维度基准测试方法：结合合成压力测试（GPU Burn）、指令微调、VLM训练，以及IPMItool、CodeCarbon等工具实现GPU和节点级实时功率分析，提出了详细的基准测试框架。
3. 量化液冷优势：系统量化了液冷在热稳定性和能效上的优势，显示其能提升17%的TFLOPs/GPU，节点级功耗降低超1 kW。
4. 可复用框架：提供了工作负载级功率与能源特性的详细洞察，为未来能源感知的基准测试提供可复现的框架。

翻