1、并行与高性能计算入门

并行与高性能计算入门

1 为何选择并行计算

1.1 学习并行计算的原因

学习并行计算具有多方面的意义。其潜在好处众多，比如能够显著提升计算速度，使原本耗时的任务在更短时间内完成；还可以处理大规模的数据，这对于当今数据爆炸的时代尤为重要。然而，并行计算也存在一些需要注意的地方，例如可能会增加编程的复杂度，对硬件和软件的要求也更高。

1.2 并行计算的基本定律

• 阿姆达尔定律（Amdahl’s Law） ：该定律指出了并行计算的极限。它表明，即使增加大量的处理器，程序的加速比也会受到串行部分的限制。
• 古斯塔夫森 - 巴里斯定律（Gustafson - Barsis’s Law） ：此定律突破了阿姆达尔定律的限制，强调当问题规模可以随着处理器数量的增加而扩大时，并行计算的加速比可以得到显著提升。

1.3 并行计算的工作原理

通过一个示例应用程序可以更好地理解并行计算的工作方式。同时，了解当今异构并行系统的硬件模型和应用/软件模型也至关重要。硬件模型包括各种处理器、内存等组件，而软件模型则涉及到如何将任务分配到不同的硬件资源上。

1.4 并行方法的分类

并行方法可以根据不同的标准进行分类，例如数据并行、任务并行等。不同的分类方法适用于不同的应用场景。

1.5 并行策略

常见的并行策略有多种，如分治法、流水线法等。选择合适的并行策略可以提高并行计算的效率。

1.6 并行加速比与比较加速比