CUDA Core理解

已于 2022-04-22 18:18:25 修改
阅读量2.8k 收藏 8
点赞数 4
CC 4.0 BY-SA版权
分类专栏： CUDA编程 文章标签： c++
于 2022-04-22 18:11:09 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/feng__shuai/article/details/124351924
博主在接触GPU一年后发现之前对CUDA核心的理解有误。原本认为一个CUDA核心执行指令后需要等待相应时钟周期才能接受新指令，但书中提到延迟可以通过发射更多指令来隐藏。CUDA核心实际上是一个管道，可以连续处理指令。因此，一个SM中多个CUDA核心能同时处理多个指令以实现高效利用。这使得博主重新认识到CUDA核心的工作原理，感叹自学CUDA的挑战性。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

文章目录

背景

目前为止，自己已经接触GPU一年多了, 最近才发现对最基础的cuda core 认识错误，具体的原因是：当在《CUDA C编程权威指南 》上看延迟隐藏章节的时候疑惑很大，书上说隐藏延迟需要的线程数=延迟*吞吐？当一个warp调度器发射一个除法指令给某一个cuda core的时候，假如需要5个时钟周期，我自己理解应该是5个周期后才能接收下一个指令，但是根据书上的意思，cuda core 在下一个周期就可以接收另外的除法指令了，为什么？

定义

cuda core是可以执行 32 位浮点加法、32 位浮点乘法、32 位到 8 位整数运算（如移位、加法、muls 和类似操作）的管道（pipe），并且还可以在其 SM 单元上生成内存请求以提供数据以不断处理数据 . 还要求特殊函数计算并由 SM 单元同步，以正确计算并行算法。

在这里插入图片描述

结论

就离谱，原来cuda core不是元操作，而是一个pipe, 所以一个cuda core如果执行一个除法指令需要N个时钟周期，一个SM中有M个cuda core，那么这个SM至少需要N*M个除法指令才能把这个cuda core(pipe)利用完全，好吧，又颠覆了自己的认知, 自学cuda真的好难😂
在这里插入图片描述

20.3 CUDA Core vs Tensor Core：选错硬件慢5倍！大模型时代核心选型指南
yonggeit的博客
03-19 350
CUDA Core 架构原理, Tensor Core 加速机制, 混合精度计算, 矩阵运算优化, 硬件选型策略。
CUDA编程：概述
u013250861的博客
06-15 2137
ptr2 = 引用栈的P位置上，8个字节。ptr2 = G 把G复制到。
一文学会CUDA编程：深入了解CUDA编程与架构（一）
自动驾驶实战
07-31 1800
CUDA（Compute Unified Device Architecture，统一计算设备架构）是由NVIDIA公司开发的一种并行计算平台和编程模型。CUDA于2006年发布，旨在通过图形处理器（GPU）解决复杂的计算问题。在早期，GPU主要用于图像处理和游戏渲染，但随着技术的发展，其并行计算能力被广泛应用于科学计算、工程仿真、深度学习等领域。
Tensor Core 基本原理 CUDA Core Tensor Core RT CoreAI 工作负载 线程束（Warp） CNN GEMM 混合精度训练
万有文的博客
05-01 3730
当 NVIDIA 的架构演进到 Volta 架构时，它标志着对深度学习优化的重大突破。Volta 架构的一个显著特点是引入了大量的 Tensor Core，这一变化对于加速深度学习应用产生了革命性的影响。在 Tensor Core 出现之前，CUDA Core 是实现深度学习加速的核心硬件技术。CUDA Core 可以处理各种精度的运算。如上图 Volta 架构图所示，左侧有 FP64、FP32 和 INT32 CUDA Cores 核心，右侧则是许多 Tensor Core 核心。CUDA Core。
CUDA Core 和 Tensor Core 的区别
最新发布
shangjg3的博客
06-17 650
NVIDIA GPU中的CUDA Core和Tensor Core是两种关键计算单元，具有不同的设计目标和适用场景。CUDA Core是通用计算单元，支持FP32/FP64高精度运算和复杂控制流，适用于科学计算和图形处理。而Tensor Core是专用矩阵运算单元，支持FP16/INT8混合精度，在深度学习训练和推理中提供8-16倍的性能提升。二者的主要差异体现在计算类型、精度支持、内存访问和编程模型上：Tensor Core通过自动批处理实现高效矩阵运算，而CUDA Core更适合通用并行计算。现代GPU
cuda core和sp
yu132563的专栏
12-14 4157
笔者最近在常常去的一个论坛里看到这么一个帖子，发贴的标题叫做：现在GTX470有没有性价比？而帖子的内容则是短短的几个字：CUDA比460多，位宽也比460多。 笔者纳闷不已，什么时候，CUDA可以用多和少来计算了？看来NVIDIA的CUDA Core、SP、CUDA已经搞晕了不少同学，看来再度的普及还是很有必要的。 SP就是显卡中的流处理器 对于显卡来说，它的参数可以说其复杂程
NVIDIA显卡的的CUDA核心是什么？
lyc0424的博客
07-23 3万+
例：我在N卡控制面板里看到的CUDA核心显示是16是什么概念？ CUDA核心，理论bai上流处理器缩写是SP。但NVIDIA自己称呼他们的duSP是CUDA Core。 CUDA Core只是N卡流处理zhi器而已dao,只是一个流处理器名词。 CUDA是一个统一计算架构，属于软件+硬件架构统称。他不是一个软件也不是一个纯硬件。而是软硬结合的计算体系。 你可以理解为CUDA是一个基于NVIDIA GPU平台上面NV自己定制的特殊计算体系。是NV自己发明的运算算法，在NV平台和软件支持上面才能发挥最高
CUDA编程基础知识整理
讲述一个小战士逐步打败恶龙的故事
07-18 1104
CUDA高性能计算 CUDA编程基本概念
GPU(CUDA)学习日记（三）------ CUDA基本架构介绍以及编程入门！~~
MySniper11的专栏
08-02 6613
首先，介绍CUDA的架构：在CUDA架构下，线程的最小单元是thread，多个thread组成一个block，多个block再组成一个grid，不同block之间的thread不能读写同一shared memory共享内存，因此，block里面的thread之间的通信和同步所带来的开销是比较大的。SM以 32 个 Thread 为一组的 Warp 来执行 Thread。Warp内的线程是静态
深入理解混合精度训练：从 Tensor Core 到 CUDA 编程
旷视开发者技术社区
12-20 3588
背景近年来，自动混合精度（Auto Mixed-Precision，AMP）技术在各大深度学习训练框架中作为一种使用简单、代价低廉、效果显著的训练加速手段，被越来越广泛地应用到算法研究中。...
CUDA理解
qq652461466的博客
09-20 1010
  一. GPU加速概念理解 GPU加速类似于批处理或工厂加工，指针指定的向量数据并行经过同样的处理过后输出到显存中。因此GPU加速的范围是比较局限的，但在处理大数据方面优势巨大。 二 . GPU运算的时间开销            由于平常使用的程序都是在CPU上运行，数据都是在系统内存上操作。因此， 在使用GPU参与程序计算时，需要将数据从内存传输到显存上，然后才可以进行计算，并且计算...
CUDA专项
铁匠Smith先生的专栏
05-11 1733
1、讲讲shared memory bank conflict的发生场景？以及你能想到哪些解决方案？CUDA中的共享内存（Shared Memory）是GPU上的一种快速内存，通常用于在CUDA线程（Thread）之间共享数据。然而，当多个线程同时访问共享内存的不同位置时，可能会遇到bank conflict（银行冲突）的问题，这会导致性能下降。
NVIDIA CUDA原理和基础知识
gigglesun的专栏
01-21 1万+
为什么使用GPU 为什么现在使用GPU（Graphics Processing Unit）编程越来越多，主要是因为GPU相对于CPU的运算速度，内存带宽均有较大的优势，下面是摘自《CUDA C PROGRAMMING GUIDE》中的图片： 浮点数运算速度： 内存带宽： GPU为什么性能高 这是因为GPU中硬件更多的用于data processing而不是data caching 或 flow...
Nvidia GPU架构 - Cuda Core，SM，SP等等傻傻分不清？
热门推荐
咚咚锵的博客
05-25 8万+
背景   在深度学习大热的年代，并行计算也跟着火热了起来。深度学习变为可能的一个重要原因就是算力的提升。作为并行计算平台的一种，GPU及其架构本身概念是非常多的。下面就进行一个概念阐述，以供参考。 GPU：显存+计算单元   GPU从大的方面来讲，就是由显存和计算单元组成： 显存（Global Memory）：显存是在GPU板卡上的DRAM，类似于CPU的内存，就是那堆DD...
CUDA基础（三）CPU架构，指令，GPU架构
IsayIwant的博客
03-26 3530
CPU中央处理器，负责执行用户和操作系统下发的指令。CPU只能接受01二进制语言，0和1用来控制高低电位。比如，一个加法运算，在x86处理器上的的二进制代码为：这样一行代码被称为机器码，它执行了加法操作。除了这样的加法，CPU的电路还要实现很多其他指令，如存取内存数据，进行逻辑判断等。参照指令集，硬件开发人员只需要关心如何设计电路，软件开发人员只关心如何用01机器码实现软件功能。比较常见的指令集有x86、ARM、MIPS、SPARC、Power等。随着技术的发展，。
CUDA入门介绍
weixin_45321562的博客
11-15 466
阅读官方《CUDA C++ Programming Guide》前两章总结，括号中为自己理解，仅作参考。
cuda学习笔记1——cuda概述
耶律大石的博客
12-16 1320
CUDA（Compute Unified Device Architecture）的中文全称为计算统一设备架构。做图像视觉领域的同学多多少少都会接触到CUDA，毕竟要做性能速度优化，CUDA是个很重要的工具，CUDA是做视觉的同学难以绕过的一个坑，必须踩一踩才踏实。CUDA编程真的是入门容易精通难，具有计算机体系结构和C语言编程知识储备的同学上手CUDA编程应该难度不会很大。
CUDA获取SM中Cores个数的代码
huzhifei的专栏
10-24 2500
sSMtoCores 这个结构体方式SM版本和相对应的Cuda核个数 typedef struct { int SM; // 0xMm (hexidecimal notation), M = SM Major version, 如 3.0 5.0 // and m = SM minor version int Cores; } sSMtoCores; 遍历如下数组，就可以获取相应的cuda cores个数 ，比如 5.0对应的是 0x50 ，对应的cor...
NVIDIA 显卡 CUDA Core 和 Tensor Core 特性及其区别
JiaWen的博客
12-07 4290
NVIDIA GeForce RTX 系列显卡广受欢迎，不仅因为其强大的图形处理能力，还因为它搭载了多种专用硬件单元，如这种硬件层面的分工协作，使 RTX 显卡在高性能图形计算和 AI 领域都表现出色。这两者在显卡的性能表现中发挥了重要作用，但它们的用途和功能却有显著差异。
CUDA Core与Tensor core 的区别
03-26
<think>好的，我现在需要详细解释CUDA Core和Tensor Core的区别。首先，我应该回忆一下自己对这两个概念的理解，确保没有混淆的地方。 CUDA Core是NVIDIA GPU中的基本处理单元，负责执行并行计算任务。每个CUDA Core可以处理一个线程，执行浮点或整数运算。而Tensor Core是专门为深度学习设计的核心，能够高效执行矩阵乘法和累加运算，特别是在处理混合精度计算时表现更优。 接下来，我需要明确它们的架构差异。CUDA Core基于SIMT（单指令多线程）架构，每个核心独立处理指令和数据。而Tensor Core则是针对特定计算模式优化的，比如4x4矩阵运算，能够在单个时钟周期内完成更多的操作，提高吞吐量。 应用场景方面，CUDA Core适用于通用的并行计算任务，比如科学模拟、图形渲染等。而Tensor Core则专注于加速深度学习中的矩阵运算，比如卷积神经网络的前向和反向传播，显著提升训练和推理速度。 性能比较上，Tensor Core在执行矩阵乘法时比CUDA Core快得多，尤其是在使用FP16混合精度时，速度和能效都有显著提升。但CUDA Core在灵活性上更优，能够处理各种不同类型的计算任务。 我还需要检查是否有遗漏的关键点，比如编程模型的支持。CUDA Core通过标准的CUDA C/C++编程，而Tensor Core可能需要使用特定的库或指令，比如cuBLAS或CUDA中的WMMA API。同时，Tensor Core在Ampere架构后的改进，比如支持更多的数据格式和稀疏计算，这也是值得提到的。 最后，确保语言通俗易懂，结构清晰，分点说明，帮助用户逐步理解两者的区别。可能还需要举例说明不同场景下的使用情况，比如在训练ResNet模型时Tensor Core如何提升性能，而CUDA Core在流体动力学模拟中的应用。</think>### **CUDA Core与Tensor Core的区别** 在NVIDIA GPU架构中，**CUDA Core**和**Tensor Core**是两类核心计算单元，分别服务于不同场景的计算需求。以下是两者的详细对比： --- #### **1. 核心功能与设计目标** | **特性** | **CUDA Core** | **Tensor Core** | |------------------|----------------------------------|------------------------------------| | **主要用途** | 通用并行计算（浮点、整数运算） | 加速矩阵运算（深度学习、科学计算） | | **设计目标** | 灵活处理多种计算任务 | 高效执行特定张量操作（如矩阵乘法） | | **计算模式** | 标量运算（逐元素操作） | 矩阵块运算（如$4 \times 4$矩阵乘法）| | **典型场景** | 物理模拟、图像处理、传统HPC | 深度学习训练/推理、AI模型加速 | --- #### **2. 计算能力对比** - **CUDA Core**： - 支持**单精度（FP32）**和**双精度（FP64）**浮点运算。 - 每个时钟周期处理**1个浮点操作**（如加法或乘法）。 - 示例：计算向量点积 $\boldsymbol{a} \cdot \boldsymbol{b} = \sum_{i=1}^n a_i b_i$ 时，需逐元素相乘后累加。 - **Tensor Core**： - 专为**混合精度矩阵乘法**优化，支持： - **FP16输入 + FP32累加**（如深度学习训练）。 - **INT8/INT4量化**（推理场景）。 - 单周期完成**4x4矩阵块**的乘加运算： $$D = A \times B + C$$ 其中 $A$、$B$ 为FP16矩阵，$C$、$D$ 为FP16/FP32矩阵。 - **吞吐量优势**：单Tensor Core的算力可达CUDA Core的数十倍（相同功耗下）。 --- #### **3. 编程模型与使用方式** - **CUDA Core**： - 通过**CUDA C/C++**直接编写核函数，控制线程级并行。 - 手动优化内存访问（如共享内存、寄存器分配）。 - **Tensor Core**： - 需调用**专用API或库**（如`cuBLAS`、`CUTLASS`、PyTorch的`@tensor_core`注解）。 - **WMMA API**（NVIDIA提供）：简化矩阵块操作编程。 ```cpp // 示例：使用WMMA API进行矩阵乘法 wmma::fragment<wmma::matrix_a, 16, 16, 16, half, wmma::row_major> a_frag; wmma::fragment<wmma::matrix_b, 16, 16, 16, half, wmma::col_major> b_frag; wmma::fragment<wmma::accumulator, 16, 16, 16, float> c_frag; wmma::load_matrix_sync(a_frag, a_ptr, 16); wmma::load_matrix_sync(b_frag, b_ptr, 16); wmma::mma_sync(c_frag, a_frag, b_frag, c_frag); wmma::store_matrix_sync(c_ptr, c_frag, 16, wmma::mem_row_major); ``` - 框架自动支持：TensorFlow/PyTorch启用`AMP（自动混合精度）`后，自动调用Tensor Core。 --- #### **4. 性能与适用场景** | **指标** | **CUDA Core** | **Tensor Core** | |------------------|----------------------------------|------------------------------------| | **计算速度** | 低（逐元素操作） | 高（矩阵块并行） | | **能效比** | 一般 | 极优（专为密集矩阵优化） | | **灵活性** | 高（支持任意计算模式） | 低（限定于矩阵/张量操作） | | **典型应用** | - 流体动力学模拟<br>- 光线追踪 | - 训练ResNet-50<br>- Transformer推理 | **示例对比**： - **训练ResNet-50**（混合精度）： - 使用Tensor Core可提速3-5倍（相比纯FP32 CUDA Core）。 - **科学计算中的矩阵乘法**（FP64）： - CUDA Core需显式并行化，Tensor Core通过专用硬件加速。 --- #### **5. 架构演进**（以NVIDIA GPU为例） | **架构** | **CUDA Core改进** | **Tensor Core改进** | |----------------|-------------------------------|----------------------------------------| | **Volta (2017)** | 支持并发INT32/FP32运算 | 初代Tensor Core，支持4x4 FP16矩阵运算 | | **Ampere (2020)**| 增强FP32吞吐量 | 支持稀疏计算、TF32（模拟FP32精度） | | **Hopper (2022)
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值