CUDA编程 基础与实践 学习笔记（一）

最新推荐文章于 2025-10-04 18:37:43 发布
原创 最新推荐文章于 2025-10-04 18:37:43 发布 · 3.1k 阅读 · 5 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#c++ #pytorch #计算机视觉

本文是CUDA编程的学习笔记，介绍了GPU与CPU的区别，强调CUDA编程在Nvidia GPU上的应用。内容涵盖异构计算、计算能力概念、GPU架构、CUDA工具及API，并讨论了GPU模式（TCC与WDDM）及其影响。笔记中提出了关于计算能力和GPU显存超出时程序运行的疑问。

开个坑…
用pytorch太不灵活了，学习一下CUDA编程。
研究生都第二年了，坚持不下去就有点丢人了奥。
书名见标题，樊哲勇老师的著作，清华大学出版社出版。
重点看前面十二章。
初次阅读，如有理解错误恳请大家批评指正~mua

第一章
GPU(graphics processing unit)，显卡。与CPU的区别：CPU有更多晶体管，用于数据缓存和流程控制，只有少数几个逻辑计算单元，适合完成复杂的逻辑计算；GPU有数千个核心，适合大规模矩阵运算。
在这里插入图片描述
（GPU的DRAM和CPU的DRAM是通过PCIe总线来通信的~，所以两者在程序中是否能够直接访问对方的存储空间呢？）
异构计算指CPU+GPU两种不同设备的协作计算，CPU为host,GPU为device。书中使用的GPU均为Nvidia GPU，CUDA编程目前仅支持该公司的GPU。有以下几个系列：
在这里插入图片描述
雀食，实验室的GPU都是Tesla,自己打游戏的主机是GeForce的。
计算能力表达为X.Y的形式：
在这里插入图片描述
前者为主版本号，后者次版本号。但这个并不代表性能，只能为程序运行时判断硬件特征提供依据。版本号越大，GPU架构(architecture)越新。Tesla既是第一代GPU架构的名字，也是科学计算系列GPU的总称，要依据上下文判断。
主版本号一般会绑定一个GPU架构的名字，所以今后看到GPU架构的名字就要大概明白其计算能力如何。而不同的系列(如tesla, quadro

最低0.47元/天 解锁文章
深入浅出之cuda编程概念
浩瀚之水的专栏
10-15 4798
在CUDA编程模型中，主机通常指的是CPU及其附属的内存资源。它是执行串行代码和进行设备管理的核心。
计算机视觉 基于CUDA编程的入门与实践
学以致用 知行合一
11-12 1663
在main函数的第四行中，调用gpuAdd，其中1和4是两个输入变量，d_c是一个作为输出指针变量的设备显存指针。如果gpuAdd的结果需要在主机上使用，那么它必须从设备的内存复制到主机的内存中，这是由cudaMemcpy函数完成的。使用cudaMemcpy函数将h_a和h_b的值复制到d_a和d_b指向的设备显存中，数据传输方向为从主机到设备。gpuAdd函数不是使用整数变量d_a和d_b作为内核的输入，而是将指向设备*d_a和*d_b上这些变量的指针作为输入。h_a、h_b和h_c是主机内存中的变量。
CUDA编程 基础与实践 学习笔记（六）
zkxhlbt的博客
04-19 1121
6.1 CUDA的内存组织 内存存在一种层级结构，大容量的一般latency高，小容量的一般latency低。这一点在计算机组成原理中学到过。 这里有个疑问，表中的局部内存是放在芯片外部的，这里怎么画在了内部？还是我没有理解清楚？ 答：局部变量属于全局变量的一部分所以在芯片外。当寄存器放不下了，就会放在局部变量中，由寄存器做判断。 6.2 集中不同类型的内存： （1）全局内存，核函数所有线程都能访问，就是显卡的显存，低速高延迟(速度慢是相对于数据处理而言的)。负责host->device, devic
【CUDA】《CUDA编程：基础与实践》CUDA程序基本框架
qq_30340349的博客
03-12 889
以向量加法为例介绍了CUDA程序得基本结构，使用xmake进行项目组织及编译。
CUDA 编程学习手册（一）
最新发布
龙哥盟
10-04 1405
不要在第一次胜利后就休息。因为如果你在第二次失败，会有更多的人说你的第一次胜利只是运气。传统上，计算需求与中央处理单元（CPU）相关联，CPU 已经从单核发展到现在的多核。每一代新的 CPU 都提供了更多的性能，但科学和高性能计算社区每年都要求更多的性能，导致应用程序需求与硬件/软件堆栈提供的计算之间存在差距。与此同时，传统上用于视频图形的新架构也进入了科学领域。图形处理单元（GPU）——基本上是用于加速计算机图形的并行计算处理器——在 2007 年 CUDA 推出时进入了 HPC 领域。
【CUDA】《CUDA编程：基础与实践》Hello CUDA
qq_30340349的博客
03-12 871
本文主要实现CUDA的 Hello World 。介绍了nvcc CUDA 编译时虚拟架构算力指定和真实架构算力指定，最后使用xmake编译CUDA程序。
笔记-cuda编程:基础与实践
qq_43647367的博客
06-24 474
cuda程序框架一般为主机数据拷贝到设备，执行核函数，设备数据拷贝到主机，由于cpu是不需要数据拷贝的，所以这整体时间在于执行任务函数，而cuda正是可以加速这一点；但是cpu与gpu内存间的PCIe带宽远小于gpu的显存带宽(cpu与gpu数据传输很慢)，所以显而易见的加速gpu(相同cpu运行时间下，怎么让gpu运行时间更短)的方法有减少数据传输的时间，增加核函数的算术强度，增加并行程度；而上述都是从"宏观"或者软件层面上说的，而限于gpu硬件实现，也有一些有关速度的值得注意的地方。
基于《CUDA 编程-基础与实践》的 CUDA 学习笔记.zip
11-19
这个项目是一个基于《CUDA 编程——基础与实践》（樊哲勇）的 CUDA 学习笔记。它包含了 GPU 硬件与 CUDA 程序开发工具、CUDA 中的线程组织、CUDA 程序的基本框架和错误检测、GPU 加速的关键、CUDA 内存组织、CUDA ...
CUDA编程 基础与实践 学习笔记（四）
zkxhlbt的博客
04-17 641
CUDA程序的错误检测 这个还蛮关键的，当时看deformable convolution的cuda代码就看到很多CHECK(…),一头雾水。现在学到了感觉还蛮开心的，老朋友了~ 基本就和自己实现的一个try catch语句块一样。 书中给出的模板为：https://github.com/brucefan1983/CUDA-Programming/blob/master/src/04-error-check/error.cuh 注意这里的后缀名，是.cuh。 错误检测分为runtime API 错误检测和
CUDA编程 基础与实践 学习笔记（八）
zkxhlbt的博客
04-22 438
共享内存 共享内存可以被程序员直接操控，减少对全局内存的访问，实现高效的线程块内部通信，也可以提高全局内存访问的合并度。 数字规约算法。可以并行快速算出数组的和。 共享内存限定符__shared__ 变量名可以以s_开头，提醒自己这是共享内存变量。所有线程都有共享内存变量的副本，每个副本不一样但共用一个变量名。核函数对于共享内存的操作作用在所有线程上。 因为还没有在实际中用过，所以有一个忧虑的点：其实程序一开始就要将数据从全局变量中移到共享内存中，这一步的耗时如何？如果算术强度不大或者不对共享内存进行多次
CUDA 编程 基础与实践（樊哲勇） 摘录
weixin_47955824的博客
10-07 3189
C++语言开发过程 1.用文本编辑器写一个源代码(source code) 2.用编辑器对源代码进行预处理、编译、汇编并链接必要的文件得到可执行文件。这些步骤往往可由一个命令完成。 3.运行可执行文件得到结果。 cuda中的核函数必须被限定词__global__修饰。核函数返回类型必须是空类型。 一个典型、简单的CUDA程序的结构具有以下形势 intmain(void) { 主机代码 核函数调用 主机代码 return 0 } 主机在调用一个核函数时，必须指明需...
CUDA编程基础与实践笔记
benben044的专栏
08-15 989
cuda编程读后感
01《CUDA编程基础与实践》-GPU硬件与CUDA程序开发工具
HZZC_的博客
07-18 632
基于 CPU (central processing unit，中央处理器)和 GPU(graphics processing unit，图形处理器)的异构计算 (heterogeneous computing)已逐步发展为高性能计算(high performance computing)领域的主流模式。很多超级计算机大量使用了GPU。
CUDA编程 基础与实践 学习笔记（九）
zkxhlbt的博客
04-23 439
原子操作 atomicAdd(&addr, val)这个在SNN部分反向传播的cuda代码里面见过，原子操作也在数据库课程里面学过，是不受其他事务影响的“读-改-写”操作。线程的执行不能保证特定顺序，因此需要原子操作来保证变量读写不受影响。 所有的原子操作。第一个地址既可以是全局内存，也可以是共享内存。都是device函数，只能在核函数中使用。 ...
CUDA笔记之一：实践编程篇
程序员的自我修养_Will.zhang
04-15 1266
这两天想看看GPU编程的东西，可是资料太稀少了，NVIDIA公司出的那个倒霉文档根本没法入门。现在算是东拉西扯的找到了一些资料，入了点门。先写点笔记吧，等有时间了，写个完整的pdf出来，和大家共享。 1 硬件架构    CUDA编程中，习惯称CPU为Host，GPU为Device。 2 并行模型    Thread：并行基本单位    Block：相互合作的一组线程。可以彼此同步
CUDA编程指南阅读笔记
热门推荐
Augusdi的专栏
10-09 1万+
随着多核CPU和众核GPU的到来，并行编程已经得到了业界越来越多的重视，CPU-GPU异构程序能够极大提高现有计算机系统的运算性能，对于科学计算等运算密集型程序有着非常重要的意义。这一系列文章是根据《CUDA C语言编程指南》来整理的，该指南是NVIDIA公司提供的CUDA学习资料，介绍了CUDA编程最基本最核心的概念，是学习CUDA必不可少的阅读材料。 初学CUDA，笔记错误之处在所难免，还请发
CUDA编程 基础与实践 学习笔记（二）
zkxhlbt的博客
04-17 1108
环境安装过程略 2.1-2.2 NVCC是CUDA的编译器驱动，将C++代码给C++编译器，例如g++,自己编译剩下的部分。 GPU只是一个device,需要gpu来调度。CUDA源文件拓展名为.cu 一个典型的CUDA代码如下： CUDA核函数两个特点： 被限定词__global__来修饰 必须返回void 这两个位置可以混，但一般还是__global__开头。 在上述程序中， <<<grid, block>>>是标准写法，grid规定了block的数量，而b
GPU CUDA编程：入门到优化实践
weixin_34885746的博客
07-18 1124
nvcc是CUDA的编译器，它是用于编译CUDA C/C++代码的驱动程序编译器。nvcc采用分阶段编译方法，将C/C++源代码编译成GPU能够理解的指令（PTX或Cubin代码），然后在运行时进一步编译成机器码。以下是一个简单的nvcc命令行示例，用于编译一个名为kernel.cu的CUDA源文件：这个命令会生成一个名为my_program的可执行文件，它包含了主机代码和设备代码。：指定输出文件的名称。kernel.cu：包含CUDA代码的源文件。
cuda编程
qq_44798484的博客
07-06 1785
cuda
评论 2
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值