14、最小同步并行ML通信环境管理

最小同步并行ML通信环境管理

1. 引言

Bulk Synchronous Parallel (BSP) 计算和 Coarse - Grained Multicomputer 模型（CGM）在众多领域都有应用，目前广泛用于并行算法研究。BSP 模型的主要优点包括避免死锁、可避免或限制不确定性、具有可移植性和性能可预测性。

然而，BSP 模型的全局同步使得许多实际的 MPI 并行程序难以用 BSPlib 库来表达。因此，有人提出了无屏障的 BSP（BSPWB）和消息传递机器（MPM）模型。我们开始研究一种新的无同步屏障的函数式并行语言——最小同步并行 ML（MSPML）。我们的初始目标是让它与 Bulk Synchronous Parallel ML 有几乎相同的源语言和高级语义，但具有不同且对不平衡程序更高效的低级语义和实现。

由于 MSPML 的异步特性，通信环境中需要存储未来可能被处理器请求的值。为了实现一个现实的系统，通信环境的大小应该是有界的，因此当通信环境满时，就需要清空它们。本文将介绍解决这个问题的两种方法。

2. 最小同步并行 ML

Bulk Synchronous Parallel (BSP) 计算是一种并行编程模型，由 Valiant 引入，它和 PRAM 模型一样提供了高度的抽象，同时能在多种架构上实现可移植和可预测的性能。BSP 计算机是一种具有全局同步单元的同质分布式内存机器，可执行同步屏障的集体请求。

BSP 执行模型将处理器上的并行计算表示为计算超级步骤和通信超级步骤的交替序列，并进行全局同步。BSPWB 直接受 BSP 模型启发，它用 m - 步骤的概念取代了超级步骤的概念。在每个 m