CUDA学习笔记之 CUDA存储器模型

最新推荐文章于 2024-03-11 22:57:28 发布
原创 最新推荐文章于 2024-03-11 22:57:28 发布 · 8.6k 阅读 · 13 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#cuda #存储 #binding #cache #编程 #api

本文介绍了CUDA的存储器模型，包括GPU片内的register和shared memory，板载显存的local memory、constant memory、texture memory和global memory，以及host内存的host memory和pinned memory。CUDA编程中，register访问延迟低，shared memory用于线程间通信，global memory存在于显存中，host memory则分为pageable和pinned类型。pinned memory用于加速主机端与设备端的数据传输，并可通过cudaMalloc等API进行管理。此外，还讨论了constant memory和texture memory的特性及其在CUDA编程中的应用。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

CUDA存储器模型：

GPU片内：register，shared memory；

板载显存：local memory,constant memory, texture memory, texture memory,global memory;

host 内存： host memory, pinned memory.

 

register: 访问延迟极低；

              基本单元：register file （32bit/each）

              计算能力1.0/1.1版本硬件：8192/SM；

              计算能力1.2/1.3版本硬件： 16384/SM;

              每个线程占有的register有限，编程时不要为其分配过多私有变量；

local memory：寄存器被使用完毕，数据将被存储在局部存储器中；

                     大型结构体或者数组；

                  

最低0.47元/天 解锁文章

200万优质内容无限畅学
零基础学习GPU 系统软件资源（5.2.1）--​​DMA 与数据传输优化:​​​​实战：大规模数据传输的优化​​
xiaoheshang_123的博客
06-01 44
摘要： 本章探讨CUDA-aware MPI在大规模数据传输中的优化策略，通过GPU直接通信绕过CPU瓶颈。传统MPI因CPU介入和PCIe带宽限制效率低下，而CUDA-aware MPI借助NVLink/RoCE实现零拷贝和异步通信，显著提升性能（延迟从120μs降至20μs，吞吐量达58GB/s）。关键优化包括显存对齐、RDMA缓冲区预注册及异步流管理。实战案例显示，在LLaMA-2模型训练中，通信时间占比从25%降至8%，吞吐量提升3倍。未来趋势聚焦CXL内存共享和AI驱动的动态调度。CUDA-awa
CUDA内存模型
最新发布
A11en3的博客
05-01 1041
GPU和CPU内存模型的主要区别是，CUDA编程模型能将内存层次结构更好地呈现给用户，能让我们显示的控制它的行为。可编程的：需要显示的控制哪些数据存放在可编程内存中不可编程的：不能决定数据的存放位置，程序自动生成存放位置寄存器共享内存本地内存常量内存纹理内存全局内存图中所示为这些内存空间的层次结构，每个都有不同的作用域、生命周期和缓存行为。一个核函数中的线程都有自己私有的本地内存。一个线程块有自己的共享内存，对同一线程块内的所有线程可见，其内容持续线程块的整个生命周期。
【并行计算-CUDA开发】CUDA存储器模型
weixin_30263277的博客
10-15 139
CUDA存储器模型 除了执行模型以外，CUDA也规定了存储器模型（如图2所示）和一系列用于主控CPU与GPU间通信的不同地址空间。图中红色的区域表示GPU片内的高速存储器，橙色区域表示DRAM中的的地址空间。 图2 CUDA存储器模型 首先，是最底层的寄存器(reg...
CUDA存储器模型
wufenxia的专栏
05-19 4141
除了编程模型和执行模型，CUDA也规定了存储器模型，如下图所示：           每一个线程拥有自己的私有存储器，每一个线程块拥有一块共享存储器(Shared memory)；最后，grid中所有的线程都可以访问同一块全局存储器(global memory)。除此之外，还有两种可以被所有线程访问的只读存储器：常数存储器（constant memory）和纹理存储器(Texture me
CUDA_存储器模型
weixin_48151686的博客
11-09 357
CUDA有自己的存储器模型，线程在执行时将会访问到处于多个不同存储器空间中的数据。cuda应用程序开发中涉及8中存储器，层次结果如图所示： 每一个线程拥有自己的私有存储器寄存器和局部存储器；每一个线程块拥有一块共享存储器（shared_memory）；最后，grid中所有的线程都可以访问同一块全局存储器（global memory）。除此之外，还有两种可以被所有线程访问的只读存储器：常数存储器（constant memory）和纹理存储器（Texture memory），他们分别为不同的应用进行了优化..
我的CUDA学习笔记
08-29
"CUDA学习笔记" 本资源摘要信息中，我们将对CUDA学习笔记进行详细的知识点梳理，涵盖了CUDA程序架构、Thread管理、存储器体系、混合编程、CUDA程序接口描述等方面的知识点。 1. CUDA 程序架构 CUDA 程序架构中...
CUDA学习笔记(GPU)
02-28
### CUDA学习笔记(GPU)知识点总结 #### 一、CUDA简介 CUDA (Compute Unified Device Architecture) 是 NVIDIA 在 2006 年推出的一种并行计算架构，它允许开发者利用 GPU 的并行处理能力来加速应用程序。CUDA 提供了...
CUDA学习笔记(7) GPU内存分级
GongBingjian
12-25 6358
在NVIDIA的GPU中，内存（GPU的内存）被分为了**全局内存（Global memory）、本地内存（Local memory）、共享内存（Shared memory）、寄存器内存（Register memory）、常量内存（Constant memory）、纹理内存（Texture memory）**六大类。
CUDA学习笔记（四）：查看GPU相关参数的程序
Never-Giveup的博客
08-06 1万+
第一种方式 CUDA给的示例程序中（路径，C:\ProgramData\NVIDIA Corporation\CUDA Samples\v6.5\1_Utilities\deviceQuery），deviceQuery.cpp代码可以查看本机的GPU相关参数，可以直接进行编译 如果懒得编译和查看它的代码，打开cmd终端，切换到C:\ProgramData\NVIDIA Corporation\...
CUDA memory
weixin_30871293的博客
04-11 416
CUDA存储器类型： 每个线程拥有自己的register and loacal memory; 每个线程块拥有一块shared memory; 所有线程都可以访问global memory; 还有，可以被所有线程访问的只读存储器：constant memory and texture memory 1、 寄存器Register 　　寄存器是GPU上的高速缓存器，其...
（Cuda）存储器Memory（二）
沤江一流的专栏
05-02 3706
本文地址 1 Device Memory 这是对后边的shared memory, global memory等的总称 可分为linear memory和 CUDA arrays CUDA arrays为纹理获取做了优化，见纹理存储器 对于线性存储器，一般用以下函数处理： 函数 描述 cudaMalloc() cudaMemcpy() cudaMallocPitch()
CUDA~Memory coalescing
whaosoft143ai的博客
03-11 769
然而，在 M 的索引中，col 乘以 Width，这意味着连续的线程将访问 M 中相隔 Width 的元素。在第一次迭代中，连续的线程将逻辑上访问行 0 中的连续元素，但由于列优先布局，这次它们在内存中并不相邻。在迭代 0 中，连续的线程将访问位于内存中相邻的行 0 中的连续元素，如图 6.2 中的“迭代 0 的加载”所示。在迭代 1 中，连续的线程将访问同样位于内存中相邻的行 1 中的连续元素，如图 6.2 中的“迭代 1 的加载”所示。由于 B 是列优先布局，同一列中的连续元素在内存中是相邻的。
cuda学习(1): 内存Memory
@bangbang的博客
10-03 3159
计算单元要访问Pinned Memory, 通过PICE接口，到主板，再到内存条得到数据，GPU可以直接访问Pinned Memory。memory是cuda中很重要的知识点，通常和高性能有关系，你利用的好memory的一些特性就能实现很多高性能的场景。，在酒店不够的时候，选择性的把你的房间腾出来给其他人交换用(对于整个Host Memory内存条而言，操作系统区分为。，锁定给你一个人用,其他人不可以来占用它。说明整个内存分配和数据传输都是正确的。(逻辑区分，物理上是同一个东西))，这就可以容纳更多人了。
关于GPU显存占满（即memory usage 很大），但GPU-util很小，导致模型训练很慢
oneself的博客
12-07 9612
关于GPU显存占满（即memory usage 很大），但GPU-util很小，导致模型训练很慢
GPU memory 结构
jaccen的专栏
05-10 6326
摘要：本节主要讲述GPU的memory架构。优化基于GPU device的kernel程序时，我们需要了解很多GPU的memory知识，比如内存合并，bank conflit（冲突）等等，这样才能针对具体算法做一些优化工作。 本节主要讲述GPU的memory架构。优化基于GPU device的kernel程序时，我们需要了解很多GPU的memory知识，比如内存合并，bank confl
Yolo训练时，输出的参数的含义
weixin_46056196的博客
04-03 8244
这些指标的意义是，P和R可以帮助评估模型的分类和检测能力，mAP则综合了模型在不同IoU阈值下的表现，是评估模型性能的主要指标之一。这些参数的意义可以帮助训练者监控模型的训练过程，以便在必要时进行调整和优化。
cuda的Pinned Memory（分页锁定内存）
zhangpinghao的专栏
03-11 8255
当为了提高CUDA程序的主机内存和设备内存传输消耗时，可以尝试一下两种方案 一：使用分页锁定内存，分页锁定内存和显存之间的拷贝速度大约是6GB/s，普通的分页内存和GPU间的速度大约是3GB/s，（另外：GPU内存间速度是30G,CPU间内存速度是10GB/s），但是这种方法会带来额外的cpu内存间的拷贝时间 二：使用内存映射（Zero Copy）让GPU直接使用CPU的内存，减少主机和设备间
CUDA系列学习（二）CUDA memory & variables - different memory and variable types
热门推荐
Rachel Zhang的专栏
01-11 1万+
（一）、CPU Memory 结构CPU提速主要依靠局部性原理，即时间局部性和空间局部性。我们先看一下CPU的内存结构：Data Access先复习一下数据在这几级存储中的传输。作为数据transfer的基本单位，cache line的典型大小为8*8（8个变量，每个8bytes）=64bytes. 当一个cache想要load数据到寄存器时，检查cache中的line，如果hit了就get到数据
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值