37、GPU编程资源优化与应用策略

GPU编程资源优化与应用策略

1. GPU资源优化基础

良好的GPU编程关键在于管理执行内核可用的有限资源。超过可用资源会导致性能显著下降。以下是当前GPU的一些重要资源限制：
| 资源限制 | NVIDIA计算能力7.0 | AMD Vega 20 (MI50) |
| — | — | — |
| 每个工作组的最大线程数 | 1024 | 256 |
| 每个计算单元的最大线程数 | 2048 | - |
| 每个计算单元的最大工作组数 | 32 | 16 |
| 每个计算单元的本地内存 | 96 KB | 64 KB |
| 每个计算单元的寄存器文件大小 | 64K | 256 KB向量 |
| 每个线程的最大32位寄存器数 | 255 | - |

GPU程序员最重要的控制因素是工作组大小。起初，使用每个工作组的最大线程数似乎是理想的，但对于计算内核，与图形内核相比，其复杂性意味着对计算资源有很高的需求，即内存压力或寄存器压力。降低工作组大小可以为每个工作组提供更多资源，也能提供更多用于上下文切换的工作组。获得良好GPU性能的关键是找到工作组大小和资源之间的正确平衡。

内存压力是指计算内核资源需求对GPU内核性能的影响，寄存器压力则是指内核中对寄存器的需求。

2. 内核寄存器使用情况

要了解代码使用了多少寄存器，可以在 nvcc 编译命令中添加 -Xptxas="-v" 标志。对于NVIDIA GPU的OpenCL，在OpenCL编译行中使用 -cl-nv-verbose