Mellanox Infiniband 架构设计快速实战指南 - A

InfiniBand拓扑设计

最新推荐文章于 2025-10-01 13:25:54 发布

原创

最新推荐文章于 2025-10-01 13:25:54 发布 · 7.9k 阅读

27 ·

CC 4.0 BY-SA版权

文章标签：

#hpc #infiniband #网络互联

探讨Mellanox InfiniBand在HPC集群中应用，解析Fattree、无阻塞与阻塞网络架构，及其实现方案与性能考量。

Mellanox Infiniband作为目前高性能计算（HPC）行业高速互联网络最主流的厂商和解决方案，在HPC领域应用极为广泛，不论从规模的可扩展性，还是不同性能要求的匹配性上，都有着较完善的解决方案。
一旦你选定了要使用Infiniband作为HPC集群的内部高速互联网络，Mellanox提供了一个简易的配置工具，帮助你快速形成Infiniband的拓扑结构：
Mellanox Infiniband Topology Generator
下面我们就以这个工具为核心，展开讲一下Infiniband的架构设计。
（根据个人经验和理解整理，如有错误，欢迎讨论指正！）

1. 拓扑种类

Infiniband（以下简称IB）常用的拓扑种类包括：
Fat tree（胖树）：最主流的网络拓扑
2D mesh
3D mesh
2D/3D torus
由于Fat tree结构是传统HPC架构中最主流的网络拓扑结构，所以我们这里主要介绍Fat tree topology。Generator工具中另一种可选的Dragonfly架构，是一种节点间“完全互联”的拓扑结构（如下图），这在商业HPC中较为少见（本人也见识有限…）这里就不过多介绍了。
在这里插入图片描述
当然，如果集群规模小到一台IB交换机即可以满足端口数量需求，就不涉及拓扑结构了。但如果集群后期有扩建规划，建议最初设计网络架构过程中考虑后续扩容的方案。