DeepDriving | CUDA编程-04：CUDA内存模型

本文来源公众号“DeepDriving”，仅用于学术分享，侵权删，干货满满。

原文链接：CUDA编程-04：CUDA内存模型

DeepDriving | CUDA编程-01： 搭建CUDA编程环境-优快云博客

DeepDriving | CUDA编程-02： 初识CUDA编程-优快云博客

DeepDriving | CUDA编程-03：线程层级-优快云博客

1 CUDA内存模型

在CUDA中可编程内存的类型有：

• 寄存器(Registers)

• 本地内存(Local Memory)

• 共享内存(Shared Memory)

• 常量内存(Constant Memory)

• 纹理内存(Texture Memory)

• 全局内存(Global Memory)

这些内存空间的层次结构如下图所示，每种不同类型的内存空间都有不同的作用域、生命周期和缓存行为。在一个内核函数中，每个线程都有自己的本地内存，每个线程块有自己的共享内存并对块内的所有线程可见，一个线程网格中的所有线程都可以访问全局内存、常量内存和纹理内存，其中常量内存和纹理内存为只读内存空间。

如果对线程、线程块的概念不熟悉的，可以参考DeepDriving | CUDA编程-02： 初识CUDA编程-优快云博客

1.1 寄存器

在内核函数中声明且没有其他修饰符修饰的变量通常是存放在GPU的寄存器中，比如下面代码中的线程索引变量i。寄存器通常用于存放内核函数中需要频繁访问的线程私有变量，这些变量与内核函数的生命周期相同，内核函数执行完毕后，就不能再对它们进行访问了。

__global__ void VectorAddGPU(const float *const a, const float *const b,