53、异构计算架构：挑战与未来

异构计算架构：挑战与未来

1 异构计算架构的挑战与愿景

随着丹纳德缩放的结束，每一代处理器自动性能提升的“免费午餐”已经不复存在。多核和众核架构被认为是利用越来越多晶体管的最佳方式。然而，这种转变将性能提升的负担转嫁给了软件开发人员，因为性能提升必须来自于应用程序并行性的扩展。如今，摩尔定律也在放缓，并最终将结束，每片芯片的核心数量也将停止增长，这种类型的性能提升也将停止。进一步扩展性能的唯一已知解决方案是为特定的应用领域定制硬件。高级专业化可以带来比通用处理器高达三个数量级的性能提升，因此仍然有很大的潜力。加速器的流行示例包括GPU、TPU、DSP和FPGA。

不幸的是，加速器并不是免费的：设计它们成本高昂，编程它们需要高级专业知识。此外，将新的加速器推向市场是一个挑战：除了硬件外，还需要高级工具，如编译器、分析器和运行时系统；硬件需要集成到现有的平台中，并且需要积累一个活跃的用户基础，即需要发展一个完整的生态系统。在过去，许多加速器在几年后被通用处理器赶上，很难找到一个新的加速器的坚实商业案例。这次不同：几乎可以保证加速器将在未来多年保持领先于通用核心。未来的先进计算平台将包含几个加速器。这带来了巨大的挑战：新的抽象将隐藏硬件平台的复杂性是什么？如何为这样的复杂平台开发工具和应用程序？如何保证安全性和安全性？如何确保程序员的生产力？

1.1 异构计算架构：挑战与愿景

云计算代表了现代计算领域中一个已经确立的范式，其采用率在这些年来持续增长。处理、存储和互连技术的不断改进，随着最近机器学习（ML）特别是深度学习（DL）技术的爆炸性增长，推动了云基础设施超越了它们的传统角色。除了传统服务，我们见证了支持大量数据集的（云）平台的传播，这些数据集来自越来越大的