2、高性能计算的挑战与算法 - 架构协同设计探索

高性能计算的挑战与算法 - 架构协同设计探索

1. 百亿亿次计算的发展现状与挑战

百亿亿次计算（Exascale Computing）旨在开发每秒能执行 $O(10^{18})$ 次运算的计算机。从计算科学的角度来看，这将带来计算硬件架构的重大变革，其影响不亚于上世纪 90 年代从向量超级计算向并行超级计算的转变。

早在 2007 年 4 月和 5 月，美国在伯克利、阿贡和橡树岭举行了三次会议，开启了对百亿亿次计算的全面研究。然而，尽管过去五年里有众多国家和国际倡议，但在实现百亿亿次浮点运算系统（Exaflops system）的目标上，进展并不显著。早期预测认为到 2020 年至少能建成一个百亿亿次计算机的原型，但如今看来这几乎不可能实现。美国能源部（DOE）最新的百亿亿次计算战略预计在 2020 年交付首个原型机柜，2021 年提供原型系统。

要构建百亿亿次计算系统，面临着四大技术挑战，这些挑战成为了到 2020 年实现每秒百亿亿次浮点运算性能的有效障碍：
- 能源挑战 ：降低系统所有组件的功耗，使运营成本在合理的电力预算范围内。
- 并行性挑战 ：开发一种编程模型和系统软件，让软件开发人员能够有效利用前所未有的并行性，同时管理数据局部性和能源效率。
- 弹性挑战 ：实现对故障的弹性，使故障对系统的开发和运行没有影响。
- 内存和存储挑战 ：开发节能技术和架构，能够提供数百 PB 的内存、高存储容量、低功耗要求，并具备移动大量数据的能力。

这些挑战在早期的研讨会上就已