CUDA中的同步和异步

最新推荐文章于 2024-05-26 12:43:02 发布

zjLeung

最新推荐文章于 2024-05-26 12:43:02 发布

阅读量2.7k

点赞数

CC 4.0 BY-SA版权

分类专栏： CUDA编程文章标签： CUDA 同步和异步 cudaStreamSynchronize cudaDeviceSynchronize cudaThreadSynchronize

本文链接：https://blog.youkuaiyun.com/goujishan462/article/details/88327793

CUDA中的同步和异步操作对于理解和优化GPU程序至关重要。同步会导致主机阻塞，直到设备完成所有任务；而异步则允许主机在设备执行任务时继续运行。cudaDeviceSynchronize()确保所有CUDA任务在GPU上完成，而cudaStreamSynchronize()和cudaThreadSynchronize()作为屏障，分别针对特定流和全局设备同步。cudaThreadSynchronize()已被弃用，推荐使用cudaDeviceSynchronize()。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

概念

1、同步：主机向设备提交任务（如kernel），在同步的情况下，主机将会阻塞，知道设备将所提交任务完成，并将控制权交回主机，然后会继续执行主机的程序；
2、异步：主机向设备提交任务后，设备开始执行任务，并立刻将控制权交回主机，所以主机将不会阻塞，而是直接继续执行主机的程序，即在异步的情况下，主机不会等待设备执行任务完成；

When to Call cudaDeviceSynchronize()

Why do we need cudaDeviceSynchronize in kernels or host code?
Although CUDA kernel launches are asynchronous(异步), all GPU-related tasks placed in one stream(which is default behaviour) are excuted sequentially.
So for exmaple,

kernel1<<<X,Y>>>(...); //kernel start execution, CPU continues to next statement
kernel2<<<X,Y>>>(...); //kernel is placed in queue and will start after kernel finishes, CPU continues to next statement
cudaMemcpy(...);         //CPU blocks until ememory is copied, memory copy starts only