36、GPU编程模型：抽象框架与代码结构解析

GPU编程模型：抽象框架与代码结构解析

1. GPU编程中的工作分组与子组

在GPU编程里，工作分组（Work groups）是一种关键的抽象概念，它能将工作均匀地分配到计算单元的各个线程上。不同的GPU型号对工作分组的硬件最大尺寸有不同规定。例如，OpenCL在设备查询时会以 CL_DEVICE_MAX_WORK_GROUP_SIZE 的形式报告该值；PGI则在其 pgaccelinfo 命令的输出中，以“Maximum Threads per Block”来呈现。通常，工作分组的最大尺寸介于256到1024之间，但在实际计算时，为了让每个工作项或线程能有更多的内存资源，工作分组的尺寸一般会小很多。

工作分组还可进一步细分为子组（Subgroups）或线程束（Warps）。子组是一组同步执行的线程集合。以NVIDIA的GPU为例，线程束的大小为32个线程；而AMD的GPU中，对应的概念是波前（Wavefront），其大小通常是64个工作项。并且，工作分组的大小必须是子组大小的整数倍。

GPU工作分组具有以下典型特征：
- 循环处理子组 ：按顺序依次处理每个子组。
- 共享资源 ：拥有局部内存（共享内存）以及其他在组内共享的资源。
- 同步机制 ：工作分组或子组内的线程可以进行同步操作。

局部内存能提供快速的数据访问，可当作可编程缓存或暂存内存使用。若一个工作分组内的多个线程都需要相同的数据，在核函数开始时将这些数据加载到局部内存中，通常能提升程序的性能。 <