11、XBOOLE-CUDA：GPU 上的快速计算

XBOOLE-CUDA：GPU 上的快速计算

1. 并行与串行架构

在计算领域，Nvidia GPUs 和 CUDA 框架备受关注。CUDA 由 Nvidia 维护，可从 https://developer.nvidia.com/ 免费下载，支持 Windows、Linux 和 MacOS。不过，CUDA 程序仅能在 Nvidia GPUs 上运行，但其软件包中包含 Open Computing Language (OpenCL) 编译器，OpenCL 程序可在遵循 Khronos Group 标准的平台上运行。

过去十年，GPU 编程愈发受到重视。2000 年末，借助 DirectX/Direct3D 8.0 可在通用 GPU (GPGPU) 上运行自定义程序，但功能有限。近年来，像 CUDA 或 OpenCL 这样的 API 变得更易用、灵活，众多研究人员利用 GPU 加速模拟或实验。

CPU 和 GPU 各有优势，CPU 适合减少顺序工作负载的延迟，而 GPU 则通过并行性实现高吞吐量。选择哪种处理器取决于要解决的问题。1966 年，Michael J. Flynn 定义了一种分类法来区分不同架构，其核心问题如下：
1. 指令是顺序执行还是并行执行？
2. 一条指令是针对单数据流还是多数据流并行执行？

有些算法无法利用并行化，因为每条指令依赖于前一条指令的结果，这种顺序程序在单 CPU 核心上运行最佳，该核心擅长执行单指令单数据 (SISD)。相反，GPU 需要并行和并发编程，涉及单指令多数据 (SIMD) 和单程序多数据