10、分布式计算与集群技术解析

分布式计算与集群技术解析

1. MPI 程序相关问题

1.1 MPI 程序在不同服务器集群的加速比计算

假设相同的 MPI 程序在所有服务器上同时运行，但处理不同数据集且工作量相同。已知程序执行的 25%归因于 MPI 命令的执行，且所有 MPI 命令执行时间相同。

1.1.1 四服务器集群到 256 服务器集群的加速比

设 MPI 程序在四服务器集群上的总执行时间为 T 分钟。使用 Amdahl 定律计算在 256 服务器集群上执行相同程序相对于四服务器集群的加速比，计算时假设程序执行无死锁，忽略所有其他运行时执行开销。

1.1.2 MPI 命令增强后的加速比

若使用用户空间的消息处理程序执行活动消息，将所有 MPI 命令的执行时间减半。计算安装此 MPI 增强功能的 256 服务器集群相对于未增强的 256 服务器集群的加速比。

1.2 矩阵乘法程序相关计算

对于一个用于相乘两个大规模 N × N 矩阵的程序，单服务器上的顺序乘法时间为 (T_1 = cN^3) 分钟（c 由服务器决定），在 n 服务器集群系统上，MPI 代码并行程序完成执行需要 (T_n = cN^3/n + dN^2/n^{0.5}) 分钟（d 由 MPI 版本决定），且程序无顺序瓶颈（α = 0），(T_n) 中的第二项表示 n 个服务器的总消息传递开销。
给定集群配置 (n = 64) 服务器，(c = 0.8)，(d = 0.1)。
- 固定工作量（(N = 15000)）
- 加速比计算