19、并行编程中的矩阵向量积与进程线程

并行编程中的矩阵向量积与进程线程

1. 通信操作层次结构

通信操作形成了一个层次结构，从最通用的通信操作“全交换”开始，其他通信操作是逐步细化的结果。以下是不同通信操作及其关系：
- 全交换 ：最通用的通信操作，每个处理器可能向其他每个处理器发送不同的消息。
- 多播 ：全交换的特殊情况，每个处理器向其他每个处理器发送相同的消息。
- 多累积 ：也是全交换的特殊情况，到达中间节点的消息在转发前根据给定的归约操作进行组合。
- 收集操作（根为Pi） ：多播的特殊情况，只考虑一个接收处理器Pi，它接收来自其他每个处理器的消息。
- 散射操作（根为Pi） ：多累积的特殊情况，使用特殊的归约操作，转发Pi的消息并忽略其他所有消息。
- 单播 ：散射操作的特殊情况，根处理器向其他每个处理器发送相同的消息。
- 单累积 ：收集操作的特殊情况，在生成树的中间节点执行归约操作，使得根处理器处只有一个（组合后的）消息。
- 处理器Pi和Pj之间的单传输 ：根为Pi的单播的特殊情况，只关注从Pi到Pj的路径；也是根为Pj的单累积的特殊情况，使用特殊的归约操作，只转发来自Pi的消息。

以下是通信操作层次结构的mermaid流程图：

graph LR
    A[