8、即将到来的多核时代中的层次感知消息传递

即将到来的多核时代中的层次感知消息传递

1. 引言

大型并行应用程序的需求常常超出本地计算站点所能提供的计算和内存资源。通过结合网格环境提供的分布式计算资源，能够满足这些资源需求。然而，网格环境本质上是异构系统，存在一些局限性，如果不加以考虑，会限制其适用性。特别是站点间通信，与站点内部通信相比，往往存在更高的延迟和更低的带宽，成为瓶颈。这是因为站点间通信通常通过广域传输协议和相应网络进行，而内部通信则通过快速的局域网甚至专用的高性能集群互连进行。

这意味着，要高效利用这种层次化和异构的基础设施，需要一个网格中间件来支持各种不同类型的通信设施。此外，随着多核时代的到来，片上集群处理器架构引入了新的层次结构。英特尔的单芯片云计算机（SCC）实验处理器就是这种片上集群架构的一个实例。下面将以SCC为例，探讨即将到来的多核时代中，分布式网格环境里层次感知消息传递所面临的挑战。

2. 使用消息传递的并行处理

如今，处理器的核心数量不断增加，并行处理成为热门研究领域。消息传递范式是其中一种方法，通过让进程具备与其他进程交换消息的能力来实现并行化。进程通过发送和接收操作进行数据和信息传输，而不是共享公共内存区域。在高性能计算领域，消息传递范式已得到广泛应用，并且在消费领域也越来越受关注。该模型大多与架构无关，但如果底层硬件支持共享内存模型，性能可能会更优。它具有严格分离的地址空间，因此与共享内存编程相比，更容易定位错误的内存读写操作。

2.1 通信模式

进程间的同步和数据交换通信，需要显式调用发送和接收函数。并行化策略是将算法划分为独立子任务，并分配给并行进程。在这些独立子任务结束时，通常需要在进程间交换中间结果以计算最终结