GPU硬件线程的个数与计算方法

本文详细介绍了GPU设备中线程的分配与调度规则,并针对sm_50架构进行了具体分析,包括Wrap、Multiprocessor及device层级的线程数量计算。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

转载请注明出处: https://blog.youkuaiyun.com/a812073479/article/details/80572293


每个device都有它自己的一些参数,而不同Compute Capability的device参数则不同,所以支持的最大线程数也不同,但计算规则都一样,如下:

1、一个Wrap包含32个thread;(从sm_20到sm_62都是这个值)

2、一个Multiprocessor包含若干个Wrap和若干个Core;(对于sm_50设备,则是64个Wrap和128个Core)

3、一个device通常包含若干个Multiprocessor;(对于sm_50设备,则是4)


所以对于sm_50的设备有:

      一个Multiprocessor包含32*64=2048个线程

      一个device包含4*32*64=8192个线程


但是,由于硬件的一些限制,如register、shared memory、每个Multiprocessor所支持的最大线程块数等,所以同时并发执行的线程数量和理论上的值有一定的差别!

除此之外,在我们launch一个kernel时,在指定的执行配置参数中,网格大小和线程块大小,都是逻辑上的,非物理上的,而GPU会根据一些规则实现thread的分配和调度以便完成这个任务。


评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值