CUDA编程04 - GPU计算架构和线程调度

已于 2024-08-30 16:23:12 修改
阅读量1.9k 收藏 6
点赞数 52
分类专栏： GPU加速专栏 文章标签： 架构 CUDA GPU
于 2024-08-01 22:19:41 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/zangle260/article/details/140858505
版权

目录

一：概述

二：现代GPU架构

三：块调度

四：线程同步

五：Warp 和 SIMD 硬件

六：控制分叉（Control Divergence）（或称路径分叉）：

七：Warp调度和延迟容忍度

八：资源划分和占用率（occupancy）

九：查询设备属性

一：概述

        在前面的CUDA编程01- 并行编程介绍中，我们了解到CPU的设计目的是最小化指令执行的延迟，而GPU的设计目的是最大化执行指令的吞吐量。在前面CUDA编程02 - 数据并行介绍和CUDA编程03 - 多维数据并行中，我们学习了使用CUDA编程接口创建和调用核函数来启动和执行线程的核心特性。在接下来的三篇文章中，我们将讨论现代GPU的架构，包括计算架构和内存架构，并探讨基于架构理解之上的性能优化技术。本章将介绍GPU计算架构的几个方面，这些方面对于CUDA C程序员理解其核函数的性能和行为至关重要。我们将首先展示一个简化的、高层次的计算架构视图，并探讨灵活的资

了解本专栏 订阅专栏 解锁全文 超级会员免费看
cuda 线程调度
doublewei的专栏
03-28 2521
硬件描述 从硬件上看，一块显卡的最小单元是GPU核(或者叫做Stream Processor),所有核心平均分配在多个SM中，而多个SM共同构成整块显卡的核心。比如RTX2070有36个Streaming Multiprocessors，而每个SM有64个CUDA Cores，RTX2070具有36*64=2304个CUDA Cores。 软件描述 thread，block，grid，war...
3维线程格 gpu_GPU 硬件层次和调度方式
weixin_39538847的博客
12-28 362
工作原因，需要了解一下 GPU 的硬件和 CUDA 的对应关系和调度方法。由于不是专职优化 GPU 代码，所以就是个大概了解。TL;DRPerfect solution for {数据并行}硬件设计思路：1. 高吞吐，低响应 2. 无需 cache (目前实际硬件有)，无需复杂的指令调度(多个线程走的都是一样的指令) 3. 节约硬件空间（一次 fetch/decode/dispatch 就可以支持...
GPU 硬件原理架构（一）
最新发布
web15085415935的博客
03-05 1266
因为GPU是为了图形处理而诞生的，所以想要整明白GPU的架构，首先也要对。
GPU线程及调度
痞子龙3D编程
08-04 2731
本节主要讲述OpenCL中的Workgroup如何在硬件设备中被调度执行。同时也会讲一下同一个workgroup中的workitem，如果它们执行的指令发生diverage（就是执行指令不一致）对性能的影响。学习OpenCL并行编程，不仅仅是对OpenCL Spec本身了解，更重要的是了解OpenCL硬件设备的特性，现阶段来说，主要是了解GPU的的架构特性，这样才能针对硬件特性优化算法。    现
CUDA线程调度
不甘平凡的小鸟的专栏
09-11 1529
1，一个GPU会有多个SM（Streaming MultiProcessor）,SM之间是并行的； 2，一个SM可以同时处理多个Block的多个wrap，也就是说，同一时刻，一个SM内，不止只有一个wrap在执行； 3，SM处理完一个Block后，才会处理下一个Block，也就是说例如SM可以同时处理3个Block，那么这3个Block的其中一个处理完后，才会处理第四个Block。 4，一个wrap的线程会分配到32个（假设一个wrap的线程数量是32）CUDA core，也叫stream proce
CPU调度
kexinxin1的博客
11-10 5110
CPU调度 引入了线程，对于支持它们的操作系统，是内核级的线程被操作系统调度，而不是进程。不过，术语线程调度或进程调度常常被交替使用。在讨论普通调度概念时使用进程调度，特别指定为线程概念时使用线程调度。 基本概念 CPU-I/O区间周期 CPU的成功调度依赖于进程的如下属性：进程执行由CPU执行和I/O等待周期组成。进程在这两个状态之间切换。进程执行从CPU区间（CP...
CUDA编程05 - GPU内存架构和数据局部性
GPU全栈博主
08-07 836
到目前为止，我们已经学会了如何编写 CUDA 核函数，以及如何设置和分配大量线程来执行核函数。我们还了解了当前 GPU 硬件的计算架构，以及线程在硬件上调度执行过程。在本章中，我们将重点关注 GPU 的片上(on-chip)内存架构，并研究如何组织和存放数据，以便这些数据能够被大量线程高效的访问。到目前为止，我们所学习的 CUDA 核函数可能只达到底层硬件性能的一小部分。之所以性能不佳，是因为通常使用片外（off-chip）内存，即全局内存。
CUDA编程06 - 性能优化指南
GPU全栈博主
08-12 1381
并行程序的执行速度在很大程度上取决于程序的资源需求与硬件的资源限制。在几乎所有并行编程模型中，管控并行代码与硬件资源约束之间的相互影响对于实现高性能非常重要的。这是一种实用的技能，需要对硬件体系结构有深刻理解，并需要在为高性能设计的并行编程模型下不断练习。到目前为止，我们已经了解了GPU架构的各个方面及其对性能的影响。在前面的CUDA编程04 - GPU计算架构和线程调度。
CUDA编程入门-核函数与线程模型（一）
m0_59522785的博客
01-17 894
在 CUDA（Compute Unified Device Architecture）中，核函数（Kernel Function）是一种特殊的函数，它是在 GPU 上执行的并行计算单元。__global__在上述代码中，myKernel就是一个核函数。注意：1.核函数限定词以__global__关键字修饰​ 2.返回值必须是void，void的位置与__global__的位置可以互换执行模型：GPU 执行的最小单位，多个线程组成一个线程块（Block）。
GPU 架构与 CUDA 关系 并行计算平台和编程模型 CUDA 线程层次结构 GPU 的算力是如何计算的 算力峰值
万有文的博客
04-28 1633
本文主要包含 NVIDIA GPU 硬件的基础概念、CUDA（Compute Unified Device Architecture）并行计算平台和编程模型，详细讲解 CUDA 线程层次结构，最后将讲解 GPU 的算力是如何计算的，这将有助于计算大模型的算力峰值和算力利用率。GPU 硬件基础概念GPU 架构与 CUDA 的关系紧密相连，两者共同构成了 NVIDIA 在并行计算领域的核心技术。
GPU多任务调度
12-08
1、在cpu端使用多线程利用系统中的多gpu(如果系统中有n个gpu，可以指定任意个gpu参与计算)执行多个任务(可以是任意个)，可以自由设定任务数量和任务队列大小。2、在同一个gpu上以不同的顺序执行多个任务(每个任务可能有多个kernel函数)，并且统计不同的顺序序列，每个任务执行的时间和每个任务所有kernel执行时间；同时也可以每次执行一个任务序列。3、和2中的类似，主要实现单gpu上所有任务的kernel不同的执行序列对执行时间的影响。 以上实现的程序，主要用来考察不同的执行顺序(包括任务级和核函数级的各种不同顺序)对gpu功耗的影响，程序中部分参数怎么改、怎么添加任务，可以给我留言。
GPU 调度策略架构与CUDA运行机制（二）
生活需要深度
07-15 4169
说到GPU估计大家都不陌生，但是提起gpu底层的一些架构以及硬件层一些调度策略的话估计大部分人就很难说的上熟悉了。当然这个不是大家的错，主要是因为Nv gpu的整个生态都是闭源的，所以大家了解起来就会有一些障碍。最近这半年笔者有幸参与了一些gpu的项目，在这个过程当中也花了一些时间去理了一下gpu相关的东西，故借这篇文章给大家简单介绍一下。下面的行文将基于以下三个层面进行阐述：CUDA编程模型GPU 底层硬件架构硬件层的调度策略gpu上的其他细节还有很多，笔者这篇文章就当作抛砖引玉了。
CUDA中SM对线程块的调度
weixin_43282858的博客
07-16 4715
sm流处理器簇对blocks的调度策略 在cuda中，GPU中的SM（比如GTX650有两个SM处理器）被CPU调度器把线程块逐个分配到SM上，每个SM同时处理这个被分配的线程块，但是每次每个时刻只能处理一个warp的线程束。由于有时候存在读取等操作导致等待，那么SM会转而处理其他warp 来掩盖这个延迟。一个warp 的线程束不是在同一线程块中。 为什么 每次同时处理多个block，而且为什...
文章-深入GPU硬件架构及运行机制 学习后记
awsl_tsl的博客
09-11 1293
在 GPU 中，线程通常按warp（在 NVIDIA GPU 中，通常是 32 个线程一组）来调度和执行。一个 warp 中的所有线程是锁步（lock-step）执行的，也就是说，同一个 warp 中的所有线程在同一时间执行相同的指令。然而，当 warp 中的线程遇到条件分支（例如if-else或switch）时，不同线程可能会走不同的路径。此时，warp 会分裂成多个执行路径，每个路径对应一组需要执行的指令。分支引起的显著时间消耗来源于线程发散。
CUDA编程第五章: 共享内存&常量内存
Janus
02-16 7029
本章大概50页, 2天之内看完 前言: 本章内容： 了解数据在共享内存中是如何被安排的 掌握从二维共享内存到线性全局内存的索引转换 解决不同访问模式中存储体中的冲突 在共享内存中缓存数据以减少对全局内存的访问 使用共享内存避免非合并全局内存的访问 理解常量缓存和只读缓存之间的差异 使用线程束洗牌指令编程 在前面的章节中, 已经介绍了几种全局内存的访问模式. 通过安排全局内存访问模式, 我们学会了如何实现良好的性能并且避免了浪费事务. 未对齐的内存访问是没有问题的, 因为现.
CUDA01 - 硬件架构、warp调度、指令流水线和cuda并发流
四哥的专栏
09-07 602
超级棒这一部分打算从头记录一下CUDA的编程方法和一些物理架构上的特点；从硬件入手，写一下包括线程束的划分、流水线的调度等等微结构的问题，以及这些物理设备是如何与软件对应的。下一部分会写一下cuda中的几种内存划分，进行数据同步，以及优化cuda运行效率的几种方法。
GPU（CUDA）学习日记（十一）------ 深入理解CUDA线程层次以及关于设置线程数的思考
热门推荐
MySniper11的专栏
12-07 1万+
GPU线程以网格（grid）的方式组织，而每个网格中又包含若干个线程块，在G80/GT200系列中，每一个线程块最多可包含512个线程，Fermi架构中每个线程块支持高达1536个线程。同一线程块中的众多线程拥有相同的指令地址，不仅能够并行执行，而且能够通过共享存储器（Shared memory）和栅栏（barrier）实现块内通信。这样，同一网格内的不同块之间存在不需要通信的粗粒度并行，而一个块
【cuda】——CUDA中SM对线程块的调度
怡宝2号
03-18 1029
转载自:https://blog.youkuaiyun.com/weixin_43282858/article/details/96138469
CUDA编程指南阅读笔记（一）
余音绕梁九日的专属空间站
08-01 6210
随着多核CPU和众核GPU的到来，并行编程已经得到了业界越来越多的重视，CPU-GPU异构程序能够极大提高现有计算机系统的运算性能，对于科学计算等运算密集型程序有着非常重要的意义。这一系列文章是根据《CUDA C语言编程指南》来整理的，该指南是NVIDIA公司提供的CUDA学习资料，介绍了CUDA编程最基本最核心的概念，是学习CUDA必不可少的阅读材料。 初学CUDA，笔记错误之处在所难免，还请
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

黑不溜秋的

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值