9、吞吐量处理器中编程模型与资源管理的解耦

吞吐量处理器中编程模型与资源管理的解耦

1. 引言

在过去十年中，现代 GPU 已发展成为强大的可编程机器，能通过同时执行数千个线程，为众多类型的应用提供高性能和高能效。每个线程执行时需要一些主要的片上资源，包括：
- 寄存器
- 暂存内存（如果程序中使用）
- 线程调度器中的线程槽，用于保存执行所需的所有记账信息

目前，这些硬件资源是基于一些参数静态分配给线程的，这些参数包括每个线程块的线程数、每个线程的寄存器使用量以及每个块的暂存内存使用量，我们将这些静态应用参数称为应用的资源规范。该资源规范是现代 GPU 编程模型（如 CUDA、OpenCL）的关键组成部分。

然而，基于软件指定的资源规范对固定硬件资源进行静态分配，在程序（和编程模型）与物理硬件资源之间形成了紧密的耦合。这导致了在现代 GPU 上获得良好性能的三个关键难题：
1. 编程难度 ：程序员需要优化资源规范，这对新手程序员来说是一项极具挑战性的任务。因为除了选择适合算法的规范外，程序员还需要了解 GPU 架构的细节，以使其与底层硬件资源相匹配。而且，规范空间中有许多性能不佳的点，即使与优化规范有微小偏差，也可能由于并行性丧失导致性能急剧下降，即性能悬崖。
2. 可移植性 ：不同的 GPU 每种资源的数量不同，因此在一个 GPU 上优化的规范在另一个 GPU 上可能非常不理想。这就要求程序员为每个新的 GPU 代重新调整应用的资源规范，在虚拟化环境（如云计算或集群计算）中，这个问题尤为突出。
3. 性能 ：即使程序员使用软件优化工具或手动调整程序