4、高性能计算的复杂性与并行计算分析

高性能计算的复杂性与并行计算分析

1. 引言：高性能计算的本质

编程练习中提到，要编写一个MPI程序来确定两个节点之间传输所需的时间，并探讨这个时间相当于多少浮点运算。这是对高性能计算中通信时间的一种考量，在并行计算里，节点间的通信时间是影响整体性能的重要因素。

2. 理论考量 - 复杂性

2.1 有向无环图表示

有向无环图（DAG）是理解并行计算的有效方式。它能展示每个计算的执行时间、可并行执行的计算、前置计算需求以及后续计算的输入。
- DAG定义计算 ：一个计算可以用有向无环图 (G = (N, A)) 精确描绘，其中 (N) 是顶点集，(A) 是有向弧集。顶点代表对数据执行的子任务，有向弧表示数据从一个子任务流向另一个子任务。例如，从节点 (i) 到 (j) 的有向弧 ((i, j) \in A) 表明计算 (j) 需要计算 (i) 的结果。输入数据通常显示在图的顶部，数据从顶部到底部（或较少情况下从左到右）流动，这也代表了时间的流动，所以图中不能有循环。
- DAG示例 ：
- 计算 (y^2 + y^3) 有三种不同的DAG表示，图中节点内显示执行的操作，如 (S) 表示对节点输入进行平方操作。
- 牛顿嵌套多项式求值的DAG，对于多项式 (p(x) = a_nx^n + a_{n - 1}x^{n - 1} + \cdots + a_1x + a_0)，求 (x = c) 时的值，可通过合成除法转化为 (p(c) = (\cdots ((a_n * c + a_{n - 1}) * c + a_{n - 2}) * c +