GPU Microarch 学习笔记【3】Tensor Core

原创 已于 2023-11-20 16:54:02 修改 · 1.6k 阅读 · 6 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#GPU

于 2023-11-20 05:29:01 首次发布
本文详细解析了NvidiaVolta/Turing架构中TensorCore如何加速矩阵计算，包括混合精度处理、load操作、MMA指令、寄存器共享、threadgroup和OCTET等概念的应用。

目录

1. 指令与架构

2. Load

3. 计算MMA

4. Set, Step 与thread group

5. OCTET

6. Tensor Core微架构

7. Final

Nvidia自从Volta/Turing（2018）架构开始，在stream multi processor中加入了tensor core，用于加速矩阵计算。如下图所示，其中每个SM有两个tensor core。相信大家也看了这个图很多次，那么一个tensor core里面的64个绿色小格子代表的是什么级别的计算呢？

图片

  图自[3]

指令与架构

Tensor core支持mixed precision和FP16矩阵计算：D = A x B + C. mixed precision指的是 A和B为FP16，但是C和D为FP32或FP16. 

图片

CUDA9.0支持的最小矩阵乘法为16x16x16（不是一个周期就能计算完毕的），下图所示为Tensor Core load A, B, C，进行mma（matrix multiply-accumulate），而后store结果D的PTX指令，其中每个指令都有sync，用于进行warp-wide的同步。

图片

Tensor Core PTX指令

Volta的每个SM core内部有两个tensor core，每个Tensor Core每个周期可以完成一个 4x4x4的MACC操作，如下图所示:

图片

这里的4x4x4指的是A

最低0.47元/天 解锁文章
[3W字]全面解析tensor core实现gemm
youzjuer的博客
12-05 525
对于固定尺寸的输入矩阵来说，通常Block分块尺寸越大，意味着单个Block内的计算量越大，但是需要并行计算的Block数量越少，这是Block维度计算量和并行度的权衡。一般来说针对不同尺寸的输入矩阵，需要采用不同的分块策略，才能更好地实现Block维度计算量和并行度的平衡，输入矩阵的尺寸越小，Block分块尺寸越小，输入矩阵的尺寸越大，Block分块尺寸越大。另一方面结合硬件规格的限制，Block分块尺寸一般为32、64、128、256之间的组合。
AI大语言模型学习笔记之三：协同深度学习的黑魔法 - GPU与Transformer模型
Stayhungry,Stayfoolish.
01-29 2149
GPU在Transformer 大模型中的协同计算处理任务中功不可没，其在架构和功能设计中体现出的强大的并行计算、流式处理和多头注意力的优势，堪称黑魔法，为AI 大模型的深度学习任务提供了强大的堪称黑魔法般的加持。
GPU深度学习性能的三驾马车：Tensor Core、内存带宽与内存层次结构
Baihai_IDP的博客
12-04 1445
今天，我们为大家带来的这篇文章，作者的核心观点是：Tensor Core、内存带宽和内存层次结构是影响 GPU 深度学习性能的几个最关键因素。 作者详细解析了矩阵乘法运算在深度学习中的重要性，以及 Tensor Core 如何通过特有的矩阵乘法计算单元极大地提升计算性能。同时，作者还分析了内存带宽对性能的制约作用，
显卡算力扫盲篇（三）
kcarly的专栏
10-29 7788
GPU 的核心架构及参数NVIDIA GPU 的核心参数的差别和各自的优势
Tensor Core的MMA与WMMA
最新发布
喜欢打篮球的普通人
09-30 856
WMMA 是一种较高级别的编程接口，允许开发者以“矩阵片段”为单位进行操作，而不需要关心线程间数据分布的细节。MMA = 底层 硬件指令，灵活且性能最高，但写起来很复杂，通常由编译器和高性能库使用。MMA 是一种更底层的接口，提供更高的灵活性，但需要开发者显式管理线程间的数据分布。WMMA = 面向开发者的 高级封装 API，写起来友好，效率接近硬件极限；为啥mma版本的naive不用m16n16k16？
【AI系统】Tensor Core 基本原理
ZOMI酱
11-25 1975
在英伟达的通用 GPU 架构中，主要存在三种核心类型：CUDA Core、Tensor Core 以及 RT Core。其中，Tensor Core 扮演着极其关键的角色。Tensor Core 是针对深度学习和 AI 工作负载而设计的专用核心，可以实现混合精度计算并加速矩阵运算，尤其擅长处理半精度（FP16）和全精度（FP32）的矩阵乘法和累加操作。Tensor Core 在加速深度学习训练和推理中发挥着重要作用。
深入理解混合精度训练：从 Tensor Core 到 CUDA 编程
旷视开发者技术社区
12-20 3731
背景近年来，自动混合精度（Auto Mixed-Precision，AMP）技术在各大深度学习训练框架中作为一种使用简单、代价低廉、效果显著的训练加速手段，被越来越广泛地应用到算法研究中。...
GPU Microarch 学习笔记 [1]
Keep Fighting!
08-13 1058
从CPU Microarch的角度学习学习GPU
TensorCore 指令与汇编编程
zzzzzucc的博客
07-05 1827
汇编语言是比较底层的语言，使用汇编是为了对代码进行优化，因为用汇编代码来优化，可以人为的来控制指令的延时，使代码性能达到最优。但是纯汇编代码开发难度大，维护成本高，因此，可以使用c代码开发程序，其中比较消耗性能的一小部分代码，可以用内嵌汇编来实现。%0 --- 代表的是fsum%1 --- 代表的是value。
菜叶子芯酸笔记3：GPU、GPGPU、CUDA之间的关系；CUDA之外；Tensor Core
qq_64955200的博客
10-26 1538
接手CPU传来的顶点数据，包括顶点的位置、法线、颜色、纹理坐标等，对其进行转换、光照处理以及坐标空间变换，计算得到每个顶点的最终属性。早期阶段，GPU的渲染管线被称为固定功能管线，此时渲染管线各阶段的处理单元是固定的，开发人员不可以改动，不能直接控制GPU内部的计算过程。主要发生在CPU中，CPU准备后续渲染所需的数据，将数据，包括3D模型的顶点、纹理、光照、摄像机参数等，发送给GPU。对以上得到的片元进行裁剪测试、透明度测试、深度测试、模板测试和混合等操作，然后写入到帧缓冲区，最终显示在计算机屏幕上。
“深度解析GPU Tensor Cores：原理、特性与应用实例“
niudaniuworking的博客
11-26 2003
仅测试用，如果你是真人点赞收藏 辛苦评论一下，最近笔记赞藏多的吓人，感觉像机器人，此处做个调研
tensorcore
u012276729的博客
03-27 1485
然而，这并不会充分利用warp的SIMD特性，因为warp中的线程数量（32）并不能整除矩阵中的元素数量（128），这会导致某些warp中的线程闲置。如果矩阵的大小恰好是warp大小的整数倍（例如，32x32的矩阵），那么每个warp可以自然地处理矩阵的一个部分，而无需额外的操作或考虑。合理的线程排布可以提高访存效率，因为当多个线程访问相邻或相同的数据时，如果这些线程能够在物理上接近的处理器核心上运行，那么它们共享缓存和数据局部性的机会就会增加，从而减少远程内存访问的延迟和开销。
Tensor Core技术解析（下）
吴建明wujianming_110117
05-30 1665
Tensor Core技术解析（下） 让FP16适用于深度学习 Volta的深度学习能力是建立在利用半精度浮点（IEEE-754 FP16）而非单精度浮点（FP32）进行深度学习训练的基础之上。 该能力首先由cuDNN 3支持并在Tegra X1的Maxwell架构中实现，随后原生半精度计算被引入Pascal架构并被称为“伪FP16”，即使用FP32 ALUs处理成对的FP16指令，理论上可以使每个时钟的FP16吞吐量增加一倍。这一特性实际上已经在Tensor Core处理寄存器中矩阵片段的过程中得到体现，
Tensor Core 基本原理 CUDA Core Tensor Core RT CoreAI 工作负载 线程束（Warp） CNN GEMM 混合精度训练
万有文的博客
05-01 4404
当 NVIDIA 的架构演进到 Volta 架构时，它标志着对深度学习优化的重大突破。Volta 架构的一个显著特点是引入了大量的 Tensor Core，这一变化对于加速深度学习应用产生了革命性的影响。在 Tensor Core 出现之前，CUDA Core 是实现深度学习加速的核心硬件技术。CUDA Core 可以处理各种精度的运算。如上图 Volta 架构图所示，左侧有 FP64、FP32 和 INT32 CUDA Cores 核心，右侧则是许多 Tensor Core 核心。CUDA Core。
Nvidia Tensor Core初探
https://www.zhihu.com/people/mu-zi-zhi-6-28
04-07 3685
在基于深度学习卷积网络的图像处理领域，作为计算密集型的卷积算子一直都是工程优化的重点，而卷积计算一般转化为矩阵乘运算，所以优化矩阵乘运算自然成为深度学习框架最为关心的优化方向之一。鉴于此，Nvidia官方给出了一套硬件解决方案，即Tensor Core，可加速矩阵乘运算，实现混合精度计算，在保持准确性的同时提高吞吐量。
Nvidia Tensor Core-MMA PTX编程入门
热门推荐
https://www.zhihu.com/people/mu-zi-zhi-6-28
04-14 1万+
对于计算能力在7.0及以上的CUDA设备，可以使用MMA PTX指令调用Tensor Core，支持形如D = AB + C的混合精度的矩阵乘运算。
简单的聊聊 NPU ，Tensor core
交流技术，感悟人生
02-25 2469
刚刚，有个前同事问我tensor core到底是个啥 在我接触过的项目和芯片里，tensor core就是矩阵乘法器。 NPU英文全称是Neural network Processing Unit， 中文大概得叫神经网络处理单元吧。 有篇文章是介绍这个的， CPU/GPU/TPU/NPU傻傻分不清楚 - 知乎 看完这个介绍，或许可以明白一些概念，但是还是不明白本质 现在我们大谈算力，在计算机的世界里可以按照维度把运算分为，标量运算，矢量运算，矩阵运算 我们在小学的时候学习标量运算，初中高中学习
TensorCore使用
wzh1026的专栏
12-31 5439
目前有两个库使用了TensorCore技术：cuBLAS与cuDNN。 cuBLAS主要加速了GEMM计算，cuDNN里主要用来加速卷积和RNN 而如何cuBLAS与cuDNN无法满足需求，也可以直接调用Tensor Cores进行编程。 Tensor Cores的调用API在nvcuda::wmma命名空间里。通过调用API进行数值初始化，进行矩阵乘加（MMA）操作然后再把数值存回内存。c...
理解 Tensor Core
四哥的专栏
12-03 670
在Tensor Core的MACC操作中，矩阵A的fragment包括8个FP16*2元素（即16个FP16元素），矩阵B的fragment包括另一8个FP16*2元素，以及针对FP16累加的4个FP16*2元素，或针对FP32累加的8个FP32元素。更具体地说，当threadgroup 0执行Set 0的HMMA指令（如下所示）时，将包含矩阵A的前4行和前4列的子块与包含矩阵B的前4行和前8列的子块相乘，其乘积与矩阵C的4×8子块累加，得到的和保存在矩阵D的4×8子块中，即上图第一行计算过程。
深度学习用什么笔记本好
06-04
### 适合深度学习的笔记本配置推荐 在深度学习领域，硬件配置对性能至关重要。以下根据预算和需求，推荐三类适合深度学习的笔记本配置。 #### 1. 入门级配置（5千左右预算） 对于初学者或轻度使用者，入门级配置可以满足基本需求。这类配置适合运行小型神经网络模型和实验性任务。具体配置如下： - **处理器 (CPU)**: Intel Core i5 或 AMD Ryzen 5 系列[^1]。 - **内存 (RAM)**: 8GB DDR4，虽然最低要求为 8GB，但建议选择可扩展至 16GB 的版本[^2]。 - **显卡 (GPU)**: NVIDIA GTX 1650 或更高型号，支持 CUDA 和 Tensor Cores[^2]。 - **存储**: 256GB SSD，用于操作系统和基础开发环境，外加 1TB HDD 存储数据集[^2]。 - **屏幕**: 15.6 英寸 FHD 分辨率，适合长时间编程和调试[^1]。 #### 2. 中端配置（1万左右预算） 中端配置适用于需要处理中等规模数据集和复杂模型的用户。这类笔记本能够提供更强大的计算能力和更高的效率。 - **处理器 (CPU)**: Intel Core i7 或 AMD Ryzen 7 系列[^1]。 - **内存 (RAM)**: 16GB DDR4，确保多任务处理时的流畅性。 - **显卡 (GPU)**: NVIDIA RTX 3060 或 RTX 3070，支持更高效的深度学习训练[^3]。 - **存储**: 512GB SSD + 1TB HDD，兼顾速度与容量。 - **屏幕**: 15.6 英寸 QHD 分辨率，色彩表现更佳[^3]。 #### 3. 高端配置（2万以上预算） 高端配置专为专业研究人员和高性能需求用户设计，能够快速处理大规模数据集和复杂的深度学习任务。 - **处理器 (CPU)**: Intel Core i9 或 AMD Ryzen 9 系列[^1]。 - **内存 (RAM)**: 32GB DDR4 或更高，确保大型模型训练时的稳定性[^3]。 - **显卡 (GPU)**: NVIDIA RTX 4080 或 RTX 4090，支持最新的 AI 加速技术。 - **存储**: 1TB NVMe SSD，读写速度更快，适合大数据集加载。 - **屏幕**: 17.3 英寸 4K 分辨率，适合多窗口操作和高精度图像处理。 ```python # 示例代码：检查 GPU 是否支持 CUDA import torch def check_cuda(): if torch.cuda.is_available(): print("CUDA is available. Your GPU supports deep learning tasks.") else: print("CUDA is not available. Consider upgrading your hardware.") check_cuda() ```
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值