15、计算机集群技术：从基础到未来应用

计算机集群技术：从基础到未来应用

1. 并行处理与节点协作

在并行处理中，当从节点完成任务后，主节点会用从节点返回的结果更新本地单线程进程块变量，然后继续处理该单线程，直至完成或出现新的分割。以一个程序为例，其并行部分在单处理器上执行大约需要在多计算机（至少三个 CPU）上执行时间的三倍。在多计算机上，执行时间为单处理器的三分之一，但还需加上将每个块传输到不同计算机、传输结果回来以及整理各个结果以继续单线程处理的开销。

在进行并行处理时，必须考虑节省时间的好处与管理并行实现所消耗的时间。例如，要进行三路分割，必须先将整个求和数组分成三部分，在单线程处理的下一步继续之前，还需将三个结果合并回该数组。只有在进程块调度树的并行部分才能实现时间的节省。

并行处理时间对比

处理器类型	执行时间	额外开销
单处理器	约为多计算机的三倍	无
多计算机（至少三个 CPU）	约为单处理器的三分之一	数据传输与结果整理

并行处理流程

graph LR
    A[开始] --> B[分割数组]
    B --> C[分配任务到从节点]
    C