并行计算：从概念起源到多层次架构设计及其发展历程的全面解析

1、并行计算的概念

（1）并行计算是相对于串行计算

并行计算努力仿真自然世界中的事务状态：一个序列中众多同时发生的、复杂且相关的事件。如有21亩地需要除草，一个人一天只能除一亩地的草，那么需要21天才能除完草，这在现实中是不太可能的，因庄稼是有时间段的。那么如果找21个人一起来完成除草，那只需要一天就能完成任务。所以从这里可以看出并行计算并没有让计算量减少，它是以牺牲劳动力来节约时间，其思路如下图所示。

并行计算是相对于串行计算来说的。传统地，串行计算是指在单个计算机（具有单个中央处理单元）上执行软件写操作。CPU逐个执行一系列指令解决问题，但其中只有一种指令可提供随时并及时的使用。并行计算是在串行计算的基础上增加了处理器，可以同时执行多个指令。 

并行计算是指同时使用多种计算资源解决计算问题的过程，旨在提高计算机系统计算速度和处理能力的一种有效手段。它是由运行在多个部件上的小任务合作来求解一个规模很大的计算问题的一种方法（The simultaneous use of more than one computer to solve a problem）。它的基本思想是用多个处理器来协同求解同一问题，即将被求解的问题拆分成若干个部分，各部分均由一个独立的处理机来并行计算。

即并行计算实际上是由多个计算单元组成，运算速度快、存储容量大、可靠性高的计算机系统。 并行计算的内容包括了并行计算机体系结构、编译系统、并行算法、并行编程、并行软件技术、并行性能优化与评价、并行应用等。此外，并行计算可以定位为连接并行计算机