CUDA Graph

cudaGraphLaunch 是 NVIDIA CUDA API 中的一个函数，用于在 CUDA Graphs 中启动一个已实例化的图。

CUDA Graphs 简介

CUDA Graphs 是 NVIDIA CUDA 编程模型中的一种技术，旨在优化 GPU 程序的性能。它允许将一系列连续的 GPU 操作（如计算和数据传输）连接成一个“图”结构，并一次性提交给 GPU 来执行8。这样做可以减少 kernel launch 的开销，因为传统的 CUDA 程序中，每个 kernel 都需要单独提交给 GPU，而这些提交操作本身也会产生一定的开销。

cudaGraphLaunch 的作用

cudaGraphLaunch 函数的作用是启动一个已实例化的 CUDA Graph。在使用 CUDA Graphs 时，首先需要定义一个图结构，然后通过 cudaGraphInstantiate 函数将其实例化为一个可执行的图对象。最后，使用 cudaGraphLaunch 函数将这个可执行的图对象提交给 GPU 来执行。

使用示例

以下是一个简单的使用 cudaGraphLaunch 的示例代码片段：

cudaGraph_t graph; // 定义一个图结构
cudaGraphCreate(&graph, 0); // 创建图结构

// 向图中添加各种 GPU 操作，如 kernel 和内存拷贝等
// ...

cudaGraphExec_t graphExec; // 定义一个可执行的图对象
cudaGraphInstantiate(&graphExec, graph, NULL, NULL,