*5.1 Global Memory Bandwidth

并行程序的执行速度可能因计算硬件的资源限制而有很大差异。虽然管理并行代码和硬件资源约束之间的交互对于在几乎所有并行编程模型中实现高性能很重要，但这是一种实用技能，最好通过为高性能设计的并行编程模型中的实践练习来学习。在本章中，**我们将讨论CUDA设备中的主要资源约束类型，**以及它们如何影响内核执行性能[Ryoo 2008JICUDA C最佳实践]。为了实现他/她的goals，程序员通常必须找到达到高于应用程序初始版本所需性能水平的方法。在不同的应用中，不同的约束可能会占主导地位，并成为限制因素，通常称为瓶颈。**人们通常可以通过将一个资源使用情况交易给另一个资源来显著提高应用程序在特定CUDA设备上的性能。**如果这样缓解的资源约束实际上是应用战略之前的主要约束，并且因此加剧的约束不会对并行执行产生负面影响，那么这种策略就很有效。如果没有这种理解，性能调整将是工作；似是而非的策略可能会也可能不会导致性能提升。除了对这些资源限制的洞察力外，**本章还提供了原则和案例研究，旨在培养对可能导致高性能执行的算法模式类型的直觉。**它还建立了成语和想法，这些成语和想法可能会在您的性能调整过程中带来良好的性能改进。

5.1 GLOBAL MEMORY BANDWIDTH

CUDA内核性能的最重要因素之一是访问全局内存中的数据。CUDA应用程序利用了海量数据并行性。当然，CUDA应用程序倾向于在短时间内处理来自全局内存的大量数据。在第4章“内存和数据局部性”中，我们研究了利用共享内存来减少每个线程块中的线程集合必须从全局内存访问的数据总量的 tile 技术。在本章中，我们将进一步讨论内存合并技术，这些技术可以更有效地将数据从全局内存移动到共享内存和寄存器中。内存合并技术通常与分层技术结合使用，以允许CUDA设备通过更有效地利用全局内存带宽来发挥其性能潜力。

“最近的CUDA设备使用片上缓存来存储全局内存数据。此类缓存会自动合并更多内核访问模式，并在一定程度上减少了程序员手动重新排列其访问模式的需要。然而，即使有缓存，在可预见的未来，合并技术将继续对内核执行性能产生重大影响。

CUDA设备的全局存储器是用DRAM实现的。数据位存储在小电容器的DRAM单元中，其中存在或没有少量电荷可以区分0和1。从DRAM电池读取数据需要小电容器使用其微小的电荷驱动通往传感器的高电容线，并设置其检测机制，该机制确定电容器中是否存在足够的电荷，以符合“1”（请参阅“为什么DRAM如此缓慢？”侧边栏）。在现代DRAM芯片中，这个过程需要10纳秒。这与现代计算设备的亚纳秒时钟周期时间形成鲜明对比。由于相对于所需的数据访问速度（每字节的亚纳秒访问）来说，这是一个非常缓慢的过程，现代DRAM使用并行来提高其数据访问速率，通常称为内存访问吞吐量。

为什么DRAMS这么慢？
下图显示了DRAM单元格及其访问内容的路径。解码器是一个电子电路，它使用晶体管驱动连接到数千个电池出口门的线路。线路可能需要很长时间才能充满电或放电到所需的水平。