36、在 NVIDIA GPU 上实现分块稀疏矩阵 - 向量乘法

在 NVIDIA GPU 上实现分块稀疏矩阵 - 向量乘法

1. 引言

现代图形处理器是具有强大计算能力和高内存带宽的大规模并行计算设备。例如，NVIDIA GeForce GTX 285 在单精度下峰值可达 1063 GFLOPS，内存带宽为 159 GBytes/s。因此，GPU 越来越多地用于加速合适的计算密集型任务。NVIDIA GPU 使用名为 CUDA 的编程模型进行编程。

稀疏矩阵中，非零元素的比例很小。虽然可以使用通用数据结构和例程对这类矩阵进行计算，但效率低下（因为对零元素的大多数计算是冗余的），有时甚至由于矩阵维度大而不切实际。实际上，稀疏矩阵存储在专门的数据结构中，其大小与非零元素的数量成正比。

涉及稀疏矩阵的计算在许多数值计算中都会出现。例如，使用有限元方法求解偏微分方程归结为求解线性方程组 Ax = b，其中 A 是稀疏矩阵。A 的非零元素会根据对原始问题离散化时选择的结构化或非结构化网格，以规则或不规则模式排列。

对于稀疏的 A，求解 Ax = b 通常使用迭代方法，在这种情况下，最耗时的步骤是计算矩阵 - 向量乘积 y = y + At（对于某个 t）。在共轭梯度法中，其他步骤是对向量进行操作，相对容易高效实现。

本文讨论在 NVIDIA GPU 上实现稀疏矩阵 - 向量乘积，不对 A 的结构做特定假设。如果可以高效计算非零元素的值或位置（例如，当 A 是从规则网格离散化得到的，其非零元素位于几条对角线上），那么专门的实现可能会表现出更好的性能。本文不涉及对对称稀疏矩阵 A 进行优化，也不考虑同时为多个 t 计算 y = At。

我们认为降低内存带宽需求是提高性能的关键，并使用分块来实现这一