19、并行算法与向量优化：提升计算性能的关键路径

并行算法与向量优化：提升计算性能的关键路径

1. 并行算法研究的未来趋势

在并行算法的研究领域，有几个关键特性值得关注，这些特性有助于我们在不同场景中选择合适的算法。

1.1 并行算法的关键特性

• 局部性（Locality） ：在描述优秀算法时经常被提及，但缺乏明确定义。它有多种含义，主要包括：
  • 缓存局部性 ：将一起使用的值存储在一起，以提高缓存利用率。
  • 操作局部性 ：避免在不需要处理所有数据时对其进行操作。例如，粒子交互的空间哈希算法就是一个经典示例，它能将算法复杂度从 $O(N^2)$ 降至 $O(N)$。
• 异步性（Asynchronous） ：避免线程之间的协调，防止同步问题的产生。
• 更少的条件判断（Fewer conditionals） ：条件逻辑不仅会带来额外的性能开销，在某些架构上还可能导致线程发散问题。
• 可重复性（Reproducibility） ：高度并行的技术常常会违反有限精度算术的非结合性。增强精度技术可以帮助解决这个问题。
• 更高的算术强度（Higher arithmetic intensity） ：当前架构的浮点运算能力提升速度快于内存带宽。增加算术强度的算法，如向量运算，能够充分利用并行性。