GPU硬件线程的个数与计算方法

转载请注明出处： https://blog.youkuaiyun.com/a812073479/article/details/80572293

每个device都有它自己的一些参数，而不同Compute Capability的device参数则不同，所以支持的最大线程数也不同，但计算规则都一样，如下：

1、一个Wrap包含32个thread；（从sm_20到sm_62都是这个值）

2、一个Multiprocessor包含若干个Wrap和若干个Core；（对于sm_50设备，则是64个Wrap和128个Core）

3、一个device通常包含若干个Multiprocessor;(对于sm_50设备，则是4)

所以对于sm_50的设备有:

      一个Multiprocessor包含32*64=2048个线程

      一个device包含4*32*64=8192个线程

但是，由于硬件的一些限制，如register、shared memory、每个Multiprocessor所支持的最大线程块数等，所以同时并发执行的线程数量和理论上的值有一定的差别！

除此之外，在我们launch一个kernel时，在指定的执行配置参数中，网格大小和线程块大小，都是逻辑上的，非物理上的，而GPU会根据一些规则实现thread的分配和调度以便完成这个任务。