18、优化编程中的并行计算与CUDA-CHiLL应用

优化编程中的并行计算与CUDA-CHiLL应用

在并行计算的构建中，固定最大尺寸的分块技术得到了广泛应用。通过合理选择分块的形状和大小，可以充分利用目标并行硬件和内存架构的优势，在满足内存容量限制的同时，最大化数据重用。

分块技术

分块技术涉及将迭代空间重构为控制循环和分块循环。假设迭代空间大小为 N，分块大小为 T X，分块循环将在由分块大小（T X）定义的空间上迭代，而构建的控制循环将有 N/T X 次迭代（当 T X 能整除 N 时）。通过使用适当的分块大小，可以得到一个转换后的循环嵌套，其中每个循环级别（及其迭代空间）对应于特定的块或线程维度，并且从 0 开始归一化，步长为 1。

以下是一个使用循环分块重构矩阵 - 向量乘法代码迭代空间的示例：

// 假设代码片段展示了分块后的循环结构
for (ii = 0; ii < N/TI; ii++) {
    for (i = 0; i < TI; i++) {
        // 矩阵 - 向量乘法的具体计算
    }
}

在这个示例中，“ii” 是控制循环，“i” 是分块循环。

显式数据移动

GPU 内存层次结构是异构的，必须由软件显式管理。数据必须从主机复制到全局设备内存，每次访问会有数百个周期的延迟，并且没有缓存（以 NVIDIA GTX280 为例）。默认情况下，所有数据都存储在全局内存中，除非显式复制到低延迟的共享内存中，共享内存可以被在流式多处理器（SM）上并发运行的线程访问。

使用数据复制转换，编译器会从给定循环嵌套内的数