cuda 软硬件相关概念

软件概念

• thread

计算任务的基本单元，每个thread完成一个任务, 运行在一个sp,或者cudacore上。

• block

完整独立运行的最小单元，运行在一个SM中（一个SM中可以跑多个block），SM级别的调度单位

• grid

一堆block组成grid，GPU级别的调度单位

• warp

32个thread组成一个warp

官方形象一点的示意图

硬件概念

• sp

stream processor, 最小的硬件执行单元，不的架构会有差异，cudacore, tensorcore之类的

• sm

stream multiprocessor, (不同架构，会有差异，多个sp组成sm)

• tpc

Texture Processor Cluster 多个SM，又组成TPC