一文搞懂InfiniBand

InfiniBand 是一种高性能、低延迟的计算机网络通信技术，主要用于数据中心、超级计算机和高性能计算（HPC）场景，旨在解决传统以太网在大规模并行计算中的性能瓶颈。以下是其核心特点和关键信息：

一、技术定位

• 目标：为服务器、存储设备和网络设备提供高速互联，支持大规模并行处理。
• 对比传统网络：相比以太网（Ethernet），InfiniBand 在带宽、延迟和协议效率上有显著优势。

二、核心技术特点

特性	说明
高带宽	当前支持 100 Gbps（DDR）、200 Gbps（EDR），未来计划升级至 400 Gbps（HDR）。
低延迟	端到端延迟低至 1 微秒，远低于传统以太网（约 10-100 微秒）。
远程直接内存访问（RDMA）	允许设备直接读写对方内存，减少 CPU 参与，提升数据传输效率。
可靠传输协议	支持 QP（队列对）机制，确保数据传输的可靠性和顺序性。
硬件卸载	网络协议处理由专用硬件（如 HCA）完成，减轻 CPU 负担。

三、架构组成

• 子网（Subnet）：由 InfiniBand 交换机和主机通道适配器（HCA）组成的通信网络。
• HCA（Host Channel Adapter）：安装在服务器上的专用网卡，负责数据的发送 / 接收和协议处理。
• 交换机（Switch）：支持低延迟交换，可扩展至数千节点的集群。

四、典型应用场景

• 高性能计算（HPC）：如气候模拟、量子计算、蛋白质结构分析。
• AI 训练与推理：支持多节点分布式训练（如 GPT-4、LLaMA 等大模型）。
• 金融高频交易：低延迟和确定性通信满足高频交易需求。
• 存储网络：替代传统光纤通道（Fibre Channel），实现高速存储访问。

五、与 NVLink/NVSwitch 的协同

• 单机内：GPU 通过 NVLink 直连，实现更高带宽（如 H100 的 NVLink 3.0 达 900GB/s）。
• 跨机集群：服务器通过 InfiniBand 互联，形成大规模并行计算系统。
• 典型案例：NVIDIA DGX SuperPOD 使用 InfiniBand 连接多台 DGX 服务器，支撑超大规模模型训练。

六、发展趋势

• 更高带宽：HDR（400 Gbps）和未来的 Next Gen IB（800 Gbps）正在推进。
• 标准化与生态：由 InfiniBand Trade Association（IBTA）主导，兼容 RoCE（基于以太网的 RDMA）。
• 与 AI 深度整合：优化框架（如 PyTorch、TensorFlow）对 InfiniBand 的支持，降低分布式训练的通信开销。

总结

InfiniBand 是高性能计算领域的 “高速公路”，尤其适合需要低延迟、高带宽的场景。

随着 AI 模型规模的爆炸式增长，InfiniBand 与 NVLink/NVSwitch 的协同已成为构建超算集群的核心技术组合，推动着科学研究、AI 创新和工业应用的快速发展。