CUDA/GPU 并行运算框架技术基本原理

目录

CUDA/GPU 并行运算框架

CUDA（Compute Unified Device Architecture，计算统一的设备架构）GPU 编程 lib 库，最初由 NVIDIA 在 2006 年推出，旨在让 GPU 可以成为一种通用的运算设备提供给开发者，将 GPU 的应用场景扩展到 ML/AI、挖矿等方面，而不再仅限用于 3D 图像渲染。

简而言之，CUDA 是开发者获取 GPU 运算能力的开发平台。

CUDA 的软件架构

CUDA C 编程语言

CUDA C 是标准 C 的一个变种，在标准 C 的基础上添加了 4 大特性：

1. 支持显式定义程序模块中的某一个部分代码运行在 GPU 或 CPU 上；
2. 支持定义变量位于 GPU 显存中的数据类型；
3. 利用 Thread、Block、Grid 来定义并行运算；
4. 支持 State 变量。