7、SCI、Myrinet和SGI/Cray网络互连技术对比分析

SCI、Myrinet和SGI/Cray网络互连技术对比分析

1. 千兆以太网的局限性

千兆以太网具有低成本优势，但在高性能计算领域，它面临着一些限制。其交换机大多采用存储转发方式，而Myrinet交换机采用虫孔路由。先进交换产品的最大延迟并非降低而是有所增加，在我们所使用的最先进交换机中，最大延迟被设定为20微秒。16端口交换机背板的交换容量被指定为32 GBit/s，这使得交换机几乎不可能达到其带宽限制。此外，新安装的千兆以太网主机适配卡基于PCI，与本章讨论的所有商用互连设备一样。在进入市场的第一年，其成本就已远低于Myrinet和Dolphin SCI的适配卡。

2. 数据传输模式概述

在描述可能的数据传输模式时，我们主要关注数据移动的性能，而忽略不同技术在本地或全局缓存一致性方面的差异。因为目前这三种技术都无法在硬件层面直接提供自动完全一致的共享内存，以支持标准化的共享内存编程（如OpenMP）。直接实现编程模型仍然是扩展性较差或成本较高的系统（如基于总线的SMP或基于目录的CC - NUMA）的特权。

不同网络互连拓扑的影响是一个研究充分的话题，因此我们假设使用足够数量的交换机为所讨论的机器提供全二分带宽，这在大多数小型系统中是常见的情况。显然，所有到远程内存的数据传输都必须进行流水线处理并聚合为大消息，以实现报告中给出的最佳性能。对于使用不同传输模式的不同应用程序所体验到的可持续端到端吞吐量的比较而言，单字数据传输的纯乒乓延迟意义不大。

直到最近，网络互连设备很少能达到内存和I/O系统的最大性能。因此，I/O总线设计的性能和通用系统软件的性能都没有得到足够的优化，以与千兆网络良好配合。这两个因素是当今PC集群的主要瓶颈。此