《Learning CUDA Programming》读书笔记（一）

最新推荐文章于 2024-12-04 19:22:31 发布
原创 最新推荐文章于 2024-12-04 19:22:31 发布 · 689 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文深入探讨GPU与CPU在架构上的显著差异，强调GPU擅长并行处理，而CPU则聚焦于降低延迟。文章解析了GPU的SIMT特性，并非传统SIMD，以及其在吞吐量优化方面的优势。同时，介绍了GPU编程的三种主要方式：调用库函数、使用OpenACC以及手动编写kernel，特别提及cudaDeviceSynchronize函数的作用。此外，还强调了内存对齐的重要性，以避免不必要的访存开销。
部署运行你感兴趣的模型镜像

 

GPU擅长执行可并行的代码(data-parallel)，CPU用来执行其他对延迟敏感的串行代码；

GPU:throughput-bound(以提升吞吐量为目标);  CPU:latency-bound(以减少延迟为目标)

GPU属于SIMT，不是SIMD

CPU的时钟周期高，为了跟上处理器的步伐，必须加快访存速度，需要：1. 数据cache；2.指令预取；

GPU的线程上下文在寄存器中，所以线程切换快；GPU寄存器多（可达几十MB)；CPU寄存器少，线程上下文都在内存/cache中，所以线程切换慢；GPU线程切换快-->可以用一部分线程占用处理器来隐藏另一部分线程的访存延迟；

GPU的3大编程方式：1. 调库；2.OpenACC；3.手写kernel

cudaDeviceSynchronize: 一般用来等待kernel执行结束，CPU线程再往下走；

注意内存对齐，否则可能会产生冗余访存指令和次数。自定义struct可以用__align__(bytes)关键词来让编译器给对齐；

您可能感兴趣的与本文相关的镜像

PyTorch 2.5

PyTorch 2.5

PyTorch
Cuda

PyTorch 是一个开源的 Python 机器学习库，基于 Torch 库，底层由 C++ 实现，应用于人工智能领域，如计算机视觉和自然语言处理

『大模型笔记』从基础原理出发提升深度学习性能
AI新视界
05-28 470
如果你想加速你的深度学习系统，最重要的是要弄清楚模型的瓶颈在哪里。这个瓶颈决定了你加速系统的最佳方法。我经常看到研究人员和其他想要加速PyTorch代码的人在不了解具体情况的前提下盲目尝试。性能环境可能的解决方案Overhead-Bound(开销瓶颈)Tracing, Operator Fusion, 不使用Python, 真正的JIT编译器Operator Fusion(算子融合)使用Tensor Cores, 购买更多Nvidia硬件当然，可以说，用户需要考虑这些问题本身就反映了框架的不足。
如何通过CPU多核并行和GPU多核并行两种方式提升GPU的运算性能 Accelerating GPUs with Multithreading Programming
AI天才研究院
08-05 1915
GPU(Graphics Processing Unit)多核并行处理单元是当前科技领域里最热门的硬件之一。如今GPU已经集成在笔记本电脑、平板电脑、服务器和手机等各类设备中。由于其高性能的计算能力及其独特的编程模型（比如CUDA），使得GPU在科技界占有重要地位。同时，GPU的多线程编程技术也越来越受到关注。本文将从多线程编程的基本概念出发，介绍基于CUDA编程模型的多线程编程技术。然后，介绍如何通过CPU多核并行和GPU多核并行两种方式提升GPU的运算性能。
CUDA Programming pdf
09-09
CUDA programming: a developer's guide to parallel computing with GPUs. by Shane Cook. Over the past five years there has been a revolution in computing brought about by a company that for successive years has emerged as one of the premier gaming hardware manufacturersdNVIDIA. With the introduction of the CUDA (Compute Unified Device Architecture) programming language, for the first time these hugely powerful graphics coprocessors could be used by everyday C programmers to offload computationally expensive work. From the embedded device industry, to home users, to supercomputers, everything has changed as a result of this. One of the major changes in the computer software industry has been the move from serial programming to parallel programming. Here, CUDA has produced great advances. The graphics processor unit (GPU) by its very nature is designed for high-speed graphics, which are inherently parallel. CUDA takes a simple model of data parallelism and incorporates it into a programming model without the need for graphics primitives. In fact, CUDA, unlike its predecessors, does not require any understanding or knowledge of graphics or graphics primitives. You do not have to be a games programmer either. The CUDA language makes the GPU look just like another programmable device. Throughout this book I will assume readers have no prior knowledge of CUDA, or of parallel programming. I assume they have only an existing knowledge of the C/C++ programming language. As we progress and you become more competent with CUDA, we’ll cover more advanced topics, taking you from a parallel unaware programmer to one who can exploit the full potential of CUDA. For programmers already familiar with parallel programming concepts and CUDA, we’ll be discussing in detail the architecture of the GPUs and how to get the most from each, including the latest Fermi and Kepler hardware. Literally anyone who can program in C or C++ can program with CUDA in a few hours given a little training. Getting from novice CUDA programmer, with a several times speedup to 10 times–plus speedup is what you should be capable of by the end of this book. The book is very much aimed at learning CUDA, but with a focus on performance, having first achieved correctness. Your level of skill and understanding of writing high-performance code, especially for GPUs, will hugely benefit from this text. This book is a practical guide to using CUDA in real applications, by real practitioners. At the same time, however, we cover the necessary theory and background so everyone, no matter what their background, can follow along and learn how to program in CUDA, making this book ideal for both professionals and those studying GPUs or parallel programming.
《Learning CUDA Programming》读书笔记（二）
smartcat2010的博客
04-06 492
GPU编程常见性能瓶颈：
《Learning CUDA Programming》读书笔记（三）
smartcat2010的博客
04-06 723
CUDA occupancy: 一般等于：Active Thread Blocks per Multiprocessor /Max Threads per Multiprocessor；分子是用户kernel和GPU硬件条件共同决定的，分母完全由GPU硬件条件决定； 这个occupancy越高（越接近100%)，则GPU的SM上驻留的(叫做active)threads就越多，（实际同时运行的...
CUDA programming——Programming Model
weixin_43211438的博客
09-28 254
Thread Hierarchy index of a thread 和 thread ID 一维block 二者相等 二维block size=(Dx,Dy) thread index =（x,y) thread ID = x + y*Dx 三维block size = (Dx,Dy,Dz) thread index = (x,y,z) thread ID = x + yDx + zDx*Dy
CUDA programming
a130737的专栏
01-14 1128
cuda c 的后缀是 .cu, .cu的后缀是为了告诉VS（visual studio）该文件是要传送给NVCC 处理的。 cuda 程序部分是用 NVCC compiler 编译的。 这个编译器的作用就是将 the cuda code  变成 PTX（CUDA的汇编语言）， 剩下的普通的 C++ code 被 C++ 编译器编译。 注意， PTX code 是嵌入在 EXE中， 然后just
langchain chroma 与 chromadb笔记
最新发布
phynikesi的博客
12-04 1539
2 langchain chromadb 的部分信息参考某个博客，忘了，待补充。
【论文阅读】Deep Learning Workload Scheduling in GPU Datacenters:Taxonomy, Challenges and Vision
weixin_46091520的博客
11-11 1196
论文阅读笔记Gao W, Hu Q, Ye Z, et al. Deep Learning Workload Scheduling in GPU Datacenters: Taxonomy, Challenges and Vision[J]. 讨论了数据中心负载作业的特征以及相关工作
CUDA 学习网站
OpenHero 开勇
04-03 6022
http://heresy.spaces.live.com/blog/cns!E0070FB8ECF9015F!3114.entry參考資料整理： CUDA ZonenVidia CUDA 目前的官方網站 Programming Guide CUDA Programming Guide 1.0
学习利用CUDA10编程 Learning-CUDA-10-Programming-master.zip
02-15
学习利用CUDA10编程 Learning-CUDA-10-Programming-master.zip
matlab基本运算程序代码-Learn-CUDA-Programming:学习Packd发布的CUDA编程
05-22
matlab基本运算程序代码了解CUDA编程 这是Packt发布的的代码存储库。 使用CUDA 10.x和C / C ++进行GPU编程和并行计算的初学者指南 这本书是关于什么的？ 计算统一设备架构（CUDA）是NVIDIA的GPU计算平台和应用程序编程接口。 它旨在与C，C ++和Python等编程语言一起使用。 借助CUDA，您可以在科学，医疗保健和深度学习领域中将GPU的并行计算能力用于一系列高性能计算应用程序。 本书涵盖以下激动人心的功能： 了解CUDA中的常规GPU操作和编程模式 揭示GPU编程和CPU编程之间的差异 分析GPU应用程序性能并实施优化策略 探索GPU编程，性能分析和调试工具 掌握并行编程算法以及如何实现它们，通过多GPU和多节点扩展GPU加速的应用程序深入到具有加速库，Python和OpenACC的GPU编程平台，从而深入了解使用GPU的CNN和RNN中的深度学习加速器 如果您觉得这本书适合您，那就赶快行动吧！ 说明和导航 所有代码都组织在文件夹中。 例如，Chapter02。 该代码将如下所示： #include<stdio> #include<stdl
CUDA Programming A Developer's Guide to Parallel Computing with GPUs
08-29
CUDA并行程序设计 GPU编程指南原英文版，建议cuda初学者进行学习。
《Learning CUDA Programming》读书笔记（四）
smartcat2010的博客
04-30 498
Kernel执行，GPU和Host之间数据Copy，都是有CUDA Stream管理的； default stream似乎不能与其他stream并行执行；即其他stream都结束后，default stream才能开始执行，他结束后，其他stream才能开始执行； ...
CUDA 编程
撒旦先生的博客
09-25 5171
前几天浅尝了使用 pybind11 将 C++ 代码打包成 Python 包, 假装我已经能通过 C++ 代码加速程序了. 现在, 搞一搞 CUDA 编程, 进而结合 pybind11 把 CUDA 代码打包成 Python 包. 主要目的是了解一下整体流程与框架.
python cuda编程_《CUDA编程学习指南》随书代码
weixin_29736879的博客
02-09 413
Learn CUDA ProgrammingThis is the code repository for Learn CUDA Programming, published by Packt.A beginner's guide to GPU programming and parallel computing with CUDA 10.x and C/C++What is this book ...
探索CUDA编程：解锁GPU计算潜力
gitblog_00045的博客
04-12 367
探索CUDA编程：解锁GPU计算潜力 Learn-CUDA-ProgrammingLearn CUDA Programming, published by Packt项目地址:https://gitcode.com/gh_mirrors/le/Learn-CUDA-Programming 在这个数字化的时代，高性能计算的需求日益增长，而CUDA（Compute Unified Device Ar...
CUDA Programming Model--CUDA编程模型
greatcoder的博客
10-19 984
CUDA c++ 扩展了c++，允许编程者定义C++ 函数，被称为kernel。每次执行，由N个不同的CUDA线程执行N次。每个执行内核的线程拥有一额独一无二的线程ID，可以通过内置的threadIdx变量在内核中访问（在块内是唯一的，并不一定是全局唯一的）这里只用的一个块，因此threadIdx是唯一的。
《Learning hard C#》学习笔记与源码解析
标题《Learning hard C# 学习笔记》与描述表明，当前讨论的主题是一份关于C#语言的学习笔记。C#（发音为"see sharp"）是微软公司开发的一种面向对象的、跨平台的编程语言，它是.NET框架的核心编程语言之一。这份学习...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值