too many blocks in cooperative launch at cudaLaunchCooperativeKernel

泰勒朗斯

已于 2024-09-06 14:40:19 修改

阅读量1.2k

点赞数 8

CC 4.0 BY-SA版权

分类专栏： GPU 文章标签：人工智能

于 2024-09-04 16:11:49 首次发布

本文链接：https://blog.youkuaiyun.com/weixin_43360707/article/details/141896670

在使用cudaLaunchCooperativeKernel时出现：

cudaErrorCooperativeLaunchTooLarge (error 82) due to “too many blocks in cooperative launch” on CUDA API call to cudaLaunchCooperativeKernel.

问题如下：

I understand I’m using too many ‘active blocks’ and have no argument with that.

What I don’t understand is how to do the math to know how many blocks and threads I can call beforehand.

在使用cudaLaunchCooperativeKernel时，限制其最大grid_dim和block_dim的元素是什么？

A100的关键参数:
在这里插入图片描述
从上面表格中可以看到，影响cooperative launch的max_grid_dim 和max_block_dim的因素有三个：

maximum number of resident blocks per SM
maximum number of resident warps per SM
maximum number of resident threads per SM

对于A100理论上来说，在cooperative launch的时候，有如下限制（寄存器等先忽略）:

block 不能超过 10832=3456
warps不能超过10864=6912
threads 不能超过 108*2048=221184
blocks内的threads不能跨SM (这个是隐含的条件，很多人忘了这个，所以失败)
按照上面条件获得下表，理论上下面表格数据是能cooperative launch成功的，
计算原则就是：
grid_dim * block_dim == 108 *2048，（这个计算没有考虑blocks内的threads不能跨SM）

grid dim	max block dim	threads sum	warp sum
1	1024	1024	32
2	1024	2048	64
4	1024	4096	128
8	1024	8192	256
16	1024	16384	512
32	1024	32768	1024
64	1024	65536	2048
128	1024	131072	4096
256	864（672）	221184（172032）	6912（5376）
512	432（384）	221184（196608）	6912 （6144）
1024	216（192）	221184（196608）	6912（6144）
2048	108（96）	221184（196608）	6912（6144）
3456	64（64）	221184（221184）	6912（6912）

按照上面计算，遍历跑一遍，结果发现实测值和我们上面的计算值不一样，下面表格中的smx列中的值代表，这个SM中有多少个threads
sm上kernel分布：

grid_dim	block_dim	sm0	sm2	sm89	sm90	sm91	sm92	sm93	sm94	sm95	sm96	sm97	sm98	sm99	sm100	sm101	sm102	sm103	sm104	sm105	sm106	sm107
1	1	1	0	0	0	0	0	0	0	0	0	0	0	0	0	0	0	0	0	0	0	0
1	64	64	0	0	0	0	0	0	0	0	0	0	0	0	0	0	0	0	0	0	0	0
1	128	128	0	0	0	0	0	0	0	0	0	0	0	0	0	0	0	0	0	0	0	0
1	256	256	0	0	0	0	0	0	0	0	0	0	0	0	0	0	0	0	0	0	0	0
1	512	512	0	0	0	0	0	0	0	0	0	0	0	0	0	0	0	0	0	0	0	0
1	1024	1024	0	0	0	0	0	0	0	0	0	0	0	0	0	0	0	0	0	0	0	0
2	1	1	1	0	0	0	0	0	0	0	0	0	0	0	0	0	0	0	0	0	0	0
2	64	64	64	0	0	0	0	0	0	0	0	0	0	0	0	0	0	0	0	0	0	0
2	128	128	128	0	0	0	0	0	0	0	0	0	0	0	0	0	0	0	0	0	0	0
2	256	256	256	0	0	0	0	0	0	0	0	0	0	0	0	0	0	0	0	0	0	0
2	512	512	512	0	0	0	0	0	0	0	0	0	0	0	0	0	0	0	0	0	0	0
2	1024	1024	1024