CUDA基础

cuda并行编程基础(一) cuda能干啥,加速计算呗,学会了,对优化程序计算时间帮助大大的 阅读详情

https://blog.youkuaiyun.com/dcrmg/article/details/54446393
https://www.cnblogs.com/qingsunny/p/3384779.html

文章内容基本取自于别人的博客,仅在此记录笔记以作为自己对CUDA的入门学习。

  1. CPU被称为host,GPU被称为device。Host和Device可以通过global memory、constant memory、texture memory进行通信。
  2. grid->block->thread,一个grid分为多个block,一个block分为多个thread。
  3. sm->warp->sp,一个sm分为多个warp,一个warp含有多个sp。
  4. 一个kernel对应一个grid,每一个warp包含一些thread。sp包含两个ALU和一个FPU,没有cache,现代GPU就是一组sp的array,被称为SPA,每一个sp执行一个thread。block被加载到sm上运行。通过block实现了细粒度的通信手段,由于block被加载到SM上,因此可以利用SM提供的shared memory和_syncthreads()功能实现线程同步和通信。block之间不能有依赖。
  5. block和thread都有各自的ID,记作blockIdx(1D,2D),threadIdx(1D,2D,3D)
  6. block和thread还有Dim,即blockDim,threadDim,他们都有三个分量x,y,z
  7. 每个thread都有自己的一份register和local memory的空间。
  8. 同一个block中的thread共享一份shared memory。
  9. 所有的thread都共享一份global memory、constant memory、texture memory。
  10. 不同的grid有各自的global memory、constant memory、texture memory。

关于memory的效率操作,low-latency和high-bandwidth是高性能的理想情况。
register是最快的,但是需要合理分配使用,让自己的kernel使用较少的register就能够允许更多的block驻留在SM中。可以用
__launch_bounds__(maxThreadsPerBlock,minBlocksPerMultiprocessor)可以指定每个block可以包含的最大thread数目和每个处理器最少要包含的block数目。

__global__表示编译在GPU上,因此函数将被交给编译设备代码的NVCC编译器来处理。
__device__分配GPU上的global memory空间,grid中所有线程可访问。
__constant__分配GPU上的constant memory空间,grid中所有线程可访问。
__shared__分配GPU上的thread block空间,block中所有线程可访问。
local是thread的单独空间,仅该thread可访问。

线程硬件原理:
每个sm最多分配8个block,每个sm最多可接受768个thread,可以是1个block包含512个thread,也可以是3个block每个包含256个thread。sm上每个block尺寸必须相同,每个线程的调度与ID由该sm管理。
sm满负载工作效率是最高的,block的尺寸可以为8*8,16*16,32*32。
如果是8*8就有64个线程,因此需要768/64=12个block,但是由于sm最多8个block,因此一个sm实际执行了8*64=512个线程。
如果是16*16每个block就有256个线程,sm可同时接受3个block,3*256=768,满负载。
如果是32*32每个block就有1024个线程,sm无法处理。
warp实际上是一个32路的SIMD,是sm的基本调度单位。

关于减少latency的操作:
1.GlobalMemory通过coalesced的方法减少latency:
对于不是4bytes、8bytes、16bytes的结构体可以用__align__(X)补齐:
如struct __align__(16) vec3d{float x,float y,float z};
还有其他情况下的解决方法。

2.SharedMemory则是通过减少bank conflict问题去减少latency:
每个sm有16k的shared memory,shared memory分为16个bank,如果每个thread都区不同的bank就不会产生问题,而如果X个thread同时访问bank则会使效率降为1/X。对于__shared__ int data[128],它在SharedMemory中的布局为data[0]是bank0,data[1]是bank1,data[2]是bank2...data[15]是bank15,而data[16]又回到bank0。对于int number=data[base + tid];不会产生bank conflict,
而对于int number=data[base+4*tid];会产生bank0和bank4存取到同一bank,因此需要设计避免bank conflict。

纹理存储器:在Kernel中访问纹理存储器的操作成为纹理拾取(texture fetching),将显
存中数据与纹理参照系关联的操作,称为将数据与纹理绑定(texture binding)。纹理存储
器适用于图像处理或查找表,并且对于数据量较大时的随机数据访问或非对齐访问有很好
的加速效果。GPU可以通过普通的线性存储器和cuda数组绑定到纹理的数据。
线性存储器只能与一维或二维纹理绑定,采用整型纹理拾取坐标,坐标值与数据在存储器
中的位置相同。
CUDA数组可以与一维、二维、三维纹理绑定,纹理拾取坐标为归一化或非归一化的浮点型
,并且支持许多特殊功能。

关于threadIdx、blockIdx、blockDim、grimDim
threadIdx是一个uint3类型,表示一个线程的索引。
blockIdx是一个uint3类型,表示一个线程块的索引,一个线程块中通常有多个线程。
blockDim是一个dim3类型,表示线程块的大小。
gridDim是一个dim3类型,表示网格的大小,一个网格中通常有多个线程块。

//thread 1D
__global__ void testThread1(int *c,const int *a,const int *b)
{
    int i = threadIdx.x;
    c[i] = b[i] - a[i];
}
//thread 2D
__global__ void testThread2(int *c,const int *a,const int *b)
{
    int i = threadIdx.x + threadIdx.y*blockDim.x;
    c[i] = b[i] - a[i];
}
//thread 3D
__global__ void testThread3(int *c,const int *a,const int *b)
{
    int i = threadIdx.x + threadIdx.y*blockDim.x +
threadIdx.z*blockDim.x*blockDim.y;
    c[i] = b[i] - a[i];
}

 

NVIDIA CUDA编程Grid和Block 线程编号计算公式:(threadIdx.x + threadIdx.y * blockDim.x + threadIdx.z * blockDim.x * blockDim.y) + (blockIdx.x + blockIdx.y * gridDim.x) * (blockDim.x * blockDim.y * blockDim.z)。- 线程编号计算公式:threadIdx.x + (blockIdx.x + blockIdx.y * gridDim.x) * blockDim.x。 阅读详情

相关推荐

CUDA PYTHON 并行计算基础

一、CUDA异构计算基础 1.CUDA简介 CUDA(Compute Unified Device Architecture),是一种基于C/C++的编程方法,支持异构编程的扩展方法,提供了简单明了的APIs,能够轻松的管理存储系统。目前CUDA支持的编程语言包括C/C++/Python/Java/Fortran等。 2.CUDA生态 上图从上到下依次为:基于GPU计算的应用程序,一些GPU计算的库与中间件,编程语言,不同架构的GPU设备。 3.CUDA并行计算模式 并行计算即是同时应用多个计算资源解决一

Chermack的博客 4873

cuda中的blockIdx,threadIdx,blockDim以及gridDim的使用

转载于:DSP Tian的博客 threadIdx是一个uint3类型,表示一个线程的索引。 blockIdx是一个uint3类型,表示一个线程块的索引,一个线程块中通常有多个线程。 blockDim是一个dim3类型,表示线程块的大小。 gridDim是一个dim3类型,表示网格的大小,一个网格中通常有多个线程块。 下面这张图比较清晰的表示的几个概念的关系: cuda 通过<<< >>>符号来分配索引线程的方式,我知道的一共有15种索引方式。 下面程序展示了

Du_Shuang的博客 4688

cuda编程基础

GPU编程指的是利用图形处理器(GPU)的并行计算能力来加速计算密集型任务。与传统的CPU(中央处理器)设计不同,CPU通常有少量但功能强大的核心,擅长串行处理任务。而GPU则拥有数千个小而简单的核心,非常适合同时执行大量相似的操作。GPU编程是一门利用GPU并行计算能力的艺术。它为解决各种计算密集型问题提供了强大的工具。

weixin_37724132的博客 538

CUDA的Block和Grid详解

一般CUDA会把线程分为Block和Grid: 这里方便介绍我们用的都是二维的结构,其实Block和Grid也可以设置成三维的。 blockDim.x:Block的x方向的维度,这里是5,即每行5个线程。 blockDim.y:Block的y方向的维度,这里是3,即每列3个线程。 blockIdx.x:Block在x方向的位置,图中放大的Block是2,即为第2个。 blockIdx.y:Block在y向的位置,图中放大的Block是2,即为第2个。 注意blockIdx中的Idx是表示in

Dezeming的博客 9032

CUDA算子开发基础入门学习1

如图所示:一个硬件驱动程序,一个应用程序编程接口(API) 和它的Runtime, 还有二个高级的通用数学库,CUFFT 和CUBLAS。构建了三个层次:线程(Thread)、线程块(Block)和线程网格(Grid),它们协同工作,共同实现高效的并行计算。包括 CUDA 程序的编译器、IDE、调试器等,CUDA 程序所对应的各式库文件以及它们的头文件。CUDA把线程的ID设计成了一个3维的向量,所以可以根据需要使用1维、2维或者3维索引来识别每个线程。对于2维线程块(假设线程块的尺寸是。

Dein_Vater的博客 1419

CUDA基础的基础教程一、CUDA入门

辣鸡博主又开新坑…… CUDA是NVIDA家的GPU编程套件,他通过提供基本的底层执行环境和并行编程库,为GPU编程提供了便利。 介绍到此为止,那么CUDA的程序是怎样工作的呢? 首先,我们用GPU来做什么?当然不是用来输出一个“hello world”,我们用CUDA进行图形渲染,大数据计算,科学计算,深度学习等数据量巨大的运算。虽然我们的CPU是足够强大的,然而一个CPU的能力有限,而G...

limn204的专栏 911

【CUDA】CUDA:(三)threadIdx, blockIdx, blockDim, gridDim,warpsize的理解

小伙伴们看了是不是有点晕呢,其实LZ现在对于CUDA理解也是很浅显,算是看书的一个笔记吧 首先threadIdx, blockIdx, blockDim, gridDim,warpsize这五个变量都是CUDA的内建变量 gridDim: 指定grid维度,类型为dim3 blockDIm: 指定block维度,类型为dim3 blockIdx: 指定grid内block索引号,类型为uint3 ...

Felaim的博客 5903

CUDA编程中的gridDim and blockDim

CUDA编程中的gridDim and blockDim

deep_love1314的博客 3655

CUDA编程基础

参考链接GPU 意为图形处理器,也常被称为显卡,GPU最早主要是进行图形处理的。如今深度学习大火,GPU高效的并行计算能力充分被发掘,GPU在AI应用上大放异彩。GPU拥有更多的运算核心,其特别适合数据并行的计算密集型任务,如大型矩阵运算,与GPU对应的一个概念是CPU,但CPU的运算核心较少,但是其可以实现复杂的逻辑运算,因此其适合控制密集型任务,CPU更擅长数据缓存和流程控制。1、GPU不能单独进行工作,GPU相当于CPU的协处理器,由CPU进行调度。

weixin_45715405的博客 2772

【ArcGIS】ArcMap中北京1954坐标系转WGS84的实战技巧与参数选择

本文详细解析了在ArcMap中将北京1954坐标系数据转换为WGS84坐标系的完整流程与核心技巧。针对常见的坐标偏移问题,文章首先强调了数据“归位”的重要性,并提供了处理假东、假北值的具体操作步骤。随后,重点阐述了地理变换参数(如Beijing_1954_To_WGS_1984_2)的选择逻辑及其对转换精度的决定性影响,并结合案例说明了参数选择、中央经线确认及结果验证等关键环节,旨在帮助用户高效、准确地完成坐标转换。

f6g7h8i9j的博客 331

【蓝桥杯——单片机学习笔记】十三.点阵(STC15F2K60S2)

一.点阵内部图 点阵的有两种,分为共阴和共阳(与数码管类似,后续代码根据共阳点阵编写)。点阵的控制主要是每行和每列电平的控制。如图,以共阳为例:若要使左上角的灯亮,则第一行输出高电平(其他行均为低电平),第一列输出低电平(其他列均为高电平)。 二.原理图 与数码管共用接口,所以数码管和点阵的显示只能选一个使用! 原理图中点阵的接口R5即代表第5行(Row),C8即代表第8列(Column)。通...

默默无闻小菜鸡的博客 2012

CUDA11基础镜像构建

CUDA11基础环境搭建

Fighting for 24 2002

模型剪枝实战 | Torch-Pruning 库在YOLOv8上的应用指南

本文详细介绍了如何使用Torch-Pruning库对YOLOv8模型进行结构化剪枝,以实现模型“瘦身”。通过DepGraph(依赖图)技术自动处理层间依赖,确保剪枝安全。文章提供了从环境搭建、核心原理理解到完整剪枝流程的实战指南,并强调了剪枝后的微调与性能评估,帮助开发者在保持精度的同时显著提升模型推理速度。

weixin_29046035的博客 505

CUDA指南-CUDA编程基础

CUDA编程基础是开始利用GPU进行并行计算的起点。

小虾米的博客 1431

【高级】系统架构师 | 2026年上半年案例分析真题

标准答案:系统因缺乏足够历史数据(用户行为、物品信息或评分等),难以做出准确推荐的问题。另外两种:物品冷启动(新课程 / 新知识点缺少互动数据)系统冷启动(平台上线初期整体数据稀缺)类型典型表现常见缓解用户冷启动新注册学员无历史问卷/前测、热门兜底、人口统计学特征、知识图谱前置测评物品冷启动新课无人学无人评内容特征推荐、专家标注、探索流量系统冷启动新平台双边都稀缺规则引擎、运营冷启、知识图谱强约束路径本题已点明「用户冷启动」,另外两种按推荐系统经典三分法作答即可。

大胆尝试,小心实践 361

高通SDX55平台:5G速率问题排查分析方法

和大家分享一下高通5G平台5G速率问题排查分析方法。

四儿家的小祖宗的博客 5223

cuda编程 基础

本文主要介绍了CUDA编程的基础知识。CUDA是NVIDIA推出的并行计算架构,允许开发者利用GPU的强大计算能力。文章涵盖了CUDA的基本概念、编程模型以及实现方法,为读者提供入门指导。通过掌握这些基础知识,开发者可以开始编写高效的并行计算程序,充分发挥GPU的计算潜力。

weixin_40011280的博客 411

《UDS协议从入门到精通》系列——图解0x19:读取故障码信息

认识最核心的诊断服务“0x19”!!全网最强图解!一文搞懂所有常用子服务!

车载系统攻城狮 1万+

CUDA基础教程文档记录

CUDA基础教程文档记录

周同学的博客 2388

基于C#通过PLCSIM ADV仿真软件实现与西门子1500PLC的S7通信方法演示

基于C#通过PLCSIM ADV仿真软件实现与西门子1500PLC的S7通信方法演示

Robot_PLC_HMI_Automation 3164

RK3588, FFmpeg 拉流 RTSP, mpp 硬解码转RGB

RK3588, FFmpeg 拉流 RTSP, mpp 硬解码转RGB

J。 2343

【CUDA 1】CUDA编程基础概念知识

CUDA是NVIDIA公司提出了一种通用的并行计算平台和编程模型,有人说CUDA是一门语言,也有人认为其是API。但是其准确说应该是一套模型架构,其API也有着driver API 和 runtime API,而基于CUDA也有着Arrayfire这样的库,使用起来也更为简单。

Augustus_WY的博客 378

锂电池充电器电路设计 里面有电路

锂电池充电器电路设计 里面有电路 3.7V升压到5V电路设计。

cuda编程基础xmind

cuda编程基础笔记 参考书籍《GPU高性能编程CUDA实战中文》

qwedsaewq的博客 281

计算机控制技术及应用

《计算机控制技术及应用》通过总结作者的科研成果和吸收国内外的先进理论、方法和技术,以计算机控制系统的网络化、开放化、智能化和集成化发展趋势为主线索,主要介绍计算机控制系统的基本概念和计算机控制系统的典型形式,计算机控制系统的数学描述与基本分析方法,以及数字PID控制器、最少拍控制系统、达林算法、状态变量设计法等设计方法及其各种改进算法。重点突出计算机控制系统输入输出通道接口的设计方法和典型控制系统的设计案例与实现方法等。

温度PID控制PLC程序

温度PID稳定控制程序,适用于欧姆龙PLC,对其他PLC也具有很大参考价值

CUDA入门系列课程,从最基础着手

CUDA入门系列课程,从最基础着手,突出的就是一个字“细”!!github项目包含代码、博客、课件pdf下载地址:https://github.com/sangyc10/CUDA-code!

weixin_43360707的博客 719

win10 跳过U8环境检测的IE WebControls.rar

win10 安装u8的时候 提示IE WebControls 不通过,这个工具可以欺骗u8的检查。 跳过U8环境检测的IE WebControls。提示导入失败后,重新检测通过。

上一篇: 关于回调函数
下一篇: CCNA学习指南-----1-3章笔记
Parallel2333
博客等级 码龄10年 40粉丝 51原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值