2.3 A VECTOR ADDITION KERNEL

我们现在使用矢量加法来说明CUDA C程序结构。矢量加法可以说是最简单的数据并行计算，是顺序编程中Hello World的并行等价物。在我们展示向量加法的内核代码之前，首先回顾传统的向量加法（主机代码）函数的工作原理是有帮助的。图2.5显示了一个简单的传统C程序，它由主函数和向量加法函数组成。在我们所有的示例中，每当需要区分主机和设备数据时，我们都会在主机处理的变量名称前加上“h_”和由设备处理的变量名称“d_”，以提醒自己这些变量的预期用途。因为我们只有图2.5中的主机代码，我们只看到“h_”变量。

假设要添加的向量存储在主程序中分配和初始化的数组A和B中。输出向量在数组C中，该数组也在主程序中分配。为了简洁起见，我们没有显示A、B和C如何在主函数中分配或初始化的详细信息。这些数组的指针（见下面的边栏）与包含向量长度的变量N一起传递给vecAdd函数。请注意，vectorAdd函数的正式参数以“h_”为前缀，以强调这些参数由主机处理。当我们在接下来的步骤中引入设备代码时，这个命名惯例将有所帮助。

图2.5中的vecAdd函数使用for-loop来遍默向量元素。在第i次迭代中，输出元素h_C[i]接收h_A[i]和h_B[ij的总和。向量长度参数n用于控制循环，以便迭代次数与向量的长度相匹配。形式参数h_A、h_B和h_C是通过引用传递的，因此函数读取h_A、h_B的元素，并通过参数指针A、B和C写入h_C的元素。当vecAdd函数返回，主函数中的后续语句可以访问C的新内容。

并行执行向量加法的一个简单方法是修改vec-Add函数并将其计算移动到设备。这种修改后的vecAdd函数的结构如图2.6所示。在文件的开头，我们需要添加一个C预处理器指令来包含cuda.h头文件。该文件定义了我们即将推出的CUDA API功能和内置变量（见下面的边栏）。该函数的第1部分在设备（GPU）内存中分配空间来保存A、B和C矢量的副本，并将矢量从主机内存复制到设备内存。第2部分在设备上启动实际矢量加法内核的并行执行。第3部分将总和