qq_62704693的博客

使用独立线程调度，GPU 可以维护每个线程的执行状态，包括程序计数器和调用堆栈，并且可以在每个线程的粒度上产生执行，以更好地利用执行资源或允许一个线程等待另一个线程生成数据。如果 warp 的线程通过数据依赖的条件分支发散，则 warp 将执行所采用的每个分支路径，从而禁用不在该路径上的线程。线程处于非活动状态的原因有很多，包括比其 warp 的其他线程更早退出，采用的分支路径与 warp 当前执行的分支路径不同，或者是线程数不是 warp 大小的倍数的块的最后一个线程。为一组创建、管理、调度和执行线程。

矩阵A、B、C都为NxN的方阵，A和B为已知矩阵，C[i][j] = A[i][j] + B[j][i]。使用 CUDA GPU Timers 实际要循环100次求平均值。使用 CPU Timers 实际要循环100次求平均值。MatAdd算法的GPU实现。实现两个矩阵对应元素相加。

CUDA C++ 编程指南 (nvidia.com)2. 编程模型2.1. 内核CUDA C++ 扩展了 C++，允许程序员定义 C++ 函数，称为内核，当被调用时，N 个不同的CUDA 线程并行执行 N 次，而不是像常规 C++ 函数那样只执行一次。内核是使用声明说明符定义的，对于给定的内核调用执行该内核的 CUDA 线程数是使用新的执行配置语法指定的（请参阅每个执行内核的线程都被赋予一个唯一的线程 ID，可以通过内置变量在内核内访问该 ID。

对于并行工作负载，在算法中由于某些线程需要同步才能相互共享数据而导致并行性中断的点，有两种情况：这些线程属于同一个块，在这种情况下，它们应该通过同一内核调用中的共享内存使用和共享数据， 或者它们属于不同的块，在这种情况下，它们必须使用两个单独的内核调用通过全局内存共享数据，一个用于写入全局内存，一个用于读取全局内存。当 warp 执行访问全局内存的指令时，它会根据每个线程访问的字的大小和内存地址在线程之间的分布，将 warp 中线程的内存访问合并到一个或多个这些内存事务中。因此，建议进行实验。

CUDA C++ 最佳实践指南 (nvidia.com)2. 异构计算CUDA C++ 最佳实践指南 (nvidia.com)2. 异构计算CUDA 编程涉及在两个不同的平台上同时运行代码：具有一个或多个 CPU 的主机系统和一个或多个支持 CUDA 的 NVIDIA GPU设备。虽然 NVIDIA GPU 经常与图形相关联，但它们也是强大的算术引擎，能够并行运行数千个轻量级线程。此功能使它们非常适合可以利用并行执行的计算。

这些乘积中的每一个都是通过以下方式执行的：首先将两个相应的方阵从全局内存加载到共享内存，一个线程加载每个矩阵的一个元素，然后让每个线程计算乘积的一个元素。每个线程将这些产品的结果累积到一个 register 中，完成后将结果写入全局内存。它可以用作暂存器内存（或软件管理的缓存），以最大限度地减少来自 CUDA 块的全局内存访问，如下面的矩阵乘法示例所示。通过以这种方式阻止计算，我们利用了快速共享内存并节省了大量的全局内存带宽，因为。以下代码示例是不利用共享内存的矩阵乘法的简单实现。仅从全局内存中读取 （

因此，要准确测量特定调用或 CUDA 调用序列的运行时间，有必要在启动和停止 CPU 计时器之前立即调用，使 CPU 线程与 GPU 同步。与禁用 ECC 的同一 GPU 相比，为每个内存事务获取 ECC 位也会将有效带宽减少约 20%，但 ECC 对带宽的确切影响可能更高，并且取决于内存访问模式。当设备到达流中的事件时，设备将记录事件的时间戳。实际内存吞吐量显示代码与硬件限制的接近程度，并且将有效带宽或请求带宽与实际带宽进行比较，可以很好地估计内存访问的次优合并所浪费的带宽量（请参阅 对。

（Graphic Processing Unit），图像处理处理器，俗称显卡，主要处理图像、显示等任务（数据运算逻辑运算（General Purpose computing on Graphic Processing Unit ），通用GPU，主要处理通用计算任务。核心数GPU显存容量GPU计算峰值显存带宽GPU不能单独计算，CPU+GPU组成异构计算架构；CPU起到控制作用，一般称为主机（Host）；GPU可以看作CPU的协处理器，一般称为设备（Device）；

在CUDA编程中，确保连续的线程访问连续的内存地址是实现高效内存访问的关键。这种访问模式可以提高内存带宽的利用率，因为现代GPU的内存系统对连续的访问模式进行了优化。