并行算法超简略的笔记..

并行算法就是用多台处理机 联合求解问题的方法和步骤,其执行过程是将给定的问题首先分解成若干个尽量相互独立的子问 题,然后使用多台计算机同时求解它,从而最终求得原问题的解.

当然，需要有特定的硬件支持和软件支持。

硬件支持方面，并行计算机是并行程序设计的硬件平台。典型的并行机系统，有阵列处理机（SIMD，single instruction multiple data，单指令多数据流机）。通常有一个控制单元CU，n个处理单元PE，m个存储模块和一个互连网络模块IN组成。CU将单一的指令传播至各PE，从相应的M中去取出各自所需的数据流，执行。还有其他的向量机等，以流水线的方式执行存储器中的向量数据。能够操作于存储器中任何地方的向量就省去了要将应用数据映射到不变的互连结构上。

到了编程语言。有MPI（Message Passing Interface），是一个消息传递接口的标准，用于开发基于消息传递并行程序，其目的是为用户提供一个消息传递接口库。它等于是一个库，提供了接口函数，可以直接引用。例子如下：

MPI_Init()

MPI_Comm_rank

MPI_Comm_size

..........

PVM（Parallel Virtual Machine）是一种常用的基于消息传递的并行编程环境，把工作站网络构建成一个虚拟的并行机系统，为并行应用提供了运行平台。PVM是一个自包含、通用的、纯软件系统。个人感觉，比MPI要更高一层次。使用PVM，用户可以构造一个虚拟机。PVM最大的优点是灵活性，可以在异构平台上移植使用。使用它时，包括了相关的控制命令，用于创建PVM环境、启动、检查、杀死任务等。在程序里，也有个特定的接口函数，用于编程实现。

类似的还有HPF（High Performance FORTRAN）等。