10、分布式计算与集群技术详解

分布式计算与集群技术详解

1 MPI 程序与集群性能分析

1.1 MPI 程序运行情况

相同的 MPI 程序在所有服务器上同时运行，但处理不同数据集且工作负载相同。假设程序执行的 25% 归因于 MPI 命令的执行，且所有 MPI 命令执行时间相同。

1.2 问题解答

1.2.1 速度提升因子计算

已知 MPI 程序在四服务器集群上的总执行时间为 T 分钟，计算在 256 服务器集群上执行相同 MPI 程序相对于四服务器集群的速度提升因子。假设程序执行无死锁，且计算时忽略所有其他运行时执行开销。

1.2.2 MPI 命令增强后的速度提升

若所有 MPI 命令通过用户空间的消息处理程序执行的主动消息增强了 2 倍，即所有 MPI 命令的执行时间减半，计算安装此 MPI 增强功能的 256 服务器集群相对于未增强的 256 服务器集群的速度提升。

2 矩阵乘法程序性能分析

2.1 程序时间计算

考虑一个用于相乘两个大规模 N × N 矩阵的程序，单服务器上的顺序相乘时间为 (T_1 = cN^3) 分钟，其中 c 是由服务器确定的常数。在 n 服务器集群系统上，MPI 代码并行程序需要 (T_n = cN^3/n + dN^2/n^{0.5}) 分钟完成执行，其中 d 是由 MPI 版本确定的常数。假设程序的顺序瓶颈为零（α = 0），(T_n) 中的第二项表示 n 个服务器经历的总消息传递开销。

2.2 具体问题解答

给定集群配置 n = 64 服务器，c = 0.8，d =