AI算力基础 -- Roofline模型

原创

已于 2022-05-22 22:46:01 修改 · 2.1k 阅读

10 ·

CC 4.0 BY-SA版权

文章标签：

#ASIC #NPU

于 2022-05-15 22:18:44 首次发布

Roofline模型由David Patterson等人提出，是一种直观的性能模型，用于指导程序员和架构师优化并行软件和硬件的浮点计算性能。模型关注离散内存带宽作为关键资源，通过运算密度（operations per byte of DRAM traffic）来评估内存带宽需求。文章指出，优化计算瓶颈可通过提高指令级并行性和调整浮点运算比例，而减少内存瓶颈则涉及循环重构、内存亲和性和软件预取。Roofline模型提供性能上限，并帮助确定优化顺序。结论是，该模型有助于选择适配特定内核的系统或改进代码和硬件以提升目标内核的性能。

Roofline: An Insightful Visual Performance Model for Floating-Point Programs and Multicore Architectures

在这里插入图片描述

背景1：Amdahl‘s Law: Gene Amdahl进行了一个富有洞察力的观察：提升一个系统的一个部分的性能对整个系统有多大影响。这一观察被称为Amdahl’s Law（阿姆达尔定律)
背景2：David Patterson，2017年图灵奖得主、加州伯克利大学计算机科学教授、谷歌杰出工程师David Patterson. 作为计算机体系结构宗师，David Patterson曾带领伯克利团队起草了精简数据集RISC-1，奠定RISC架构基础，该架构后来被当时的巨头「太阳微电子」（Sun Microsystem，后来被甲骨文收购）选中用来制作Sparc处理器。他与斯坦福大学前校长、Google母公司Alphabet现董事长John Hennessey合作的《计算机体系结构：量化研究方法》开创性地提供了体系结构的分析和科学框架，至今都是该领域的经典教材。2016年从伯克利退休后，David Patterson以杰出工程师身份加入Google Brain团队，为两代TPU研发做出了卓越贡献。