智算集群网络拥塞原因分析及IB组网的优势

---

---

---

智算集群网络在什么场景下会出现拥塞？

CLOS网络架构（以其主要提出者Charles Clos命名，最初用于实现无阻塞的电话交换网络）是一种广泛应用于现代数据中心和高性能计算环境中的网络设计方法。

智算集群建设中落地的CLOS架构主要是：Spine-Leaf网络架构。其除了支持Overlay层面技术之外；Spine+Leaf网络架构的另一个好处就是能提供了更为可靠的组网连接，因为Spine层与Leaf 层是全交叉连接，任一层中的单交换机故障都不会影响整个网络结构。

但由于CLOS网络架构中的many-to-one流量模型和all-to-all流量模型，智算集群中无法避免的常常出现Incast现象，这是造成智算集群网络丢包的主要原因。

many-to-one流量模型

如上图所示，leaf1、leaf2、leaf3、leaf4 和spine1、spine2、spine3形成一个无阻塞网络。假设服务器上部署了某分布式存储业务，某个时间内，server2上的应用需要从server1、server3、server4处同时读取文件，会并发访问这几个服务器的不同数据部分。每次读取数据时，流量分别从server1到server2、server3到server2、server4 到server2，形成一个many-to-one，这里是3vs1。整网无阻塞，只有leaf2向server2的方向出端口方向产生了一个3vs1的Incast现象，此处的buffer是瓶颈。无论