江大白 | 小白秒懂：GPU产品核心参数规格解读！-优快云博客

本文链接：https://blog.youkuaiyun.com/csdn_xmj/article/details/147424214

本文来源公众号“江大白”，仅用于学术分享，侵权删，干货满满。

导读

相信很多朋友对GPU的“硬核参数”是一头雾水：什么是算力？显存带宽到底意味着什么？功耗高低又有多大影响？本文将用最直观的方式，一步步帮大家搞懂GPU卡的核心参数。希望对大家有所帮助。

随着最近加征关税、H20被禁等一系列事件的发生，大家讨论最多的话题依然是GPU卡（严谨一点说是AI加速卡），涉及的影响主要有价格的变化、供应的影响、国产卡的替代等，几个朋友找我交流发现大家对GPU卡核心参数规格有模糊不清，今天的文章我们不聊市场趋势，手把手带大家快速理解“GPU各个核心参数规格”，比如算力、显存（显存类型、显存带宽）、卡间互联、功耗等，我们用形象比喻跟大家介绍！

一、GPU卡的参数规格以A800为例

GPU卡的核心参数主要包括算力、显存大小、显存（类型）带宽、功耗、卡间互联技术等、我们以英伟达A800为例，如下图：

1、算力大小：指的是GPU执行浮点运算的能力，通常以TFLOPS(每秒浮点操作次数)为单位衡量。高计算能力对科学计算、模拟和深度学习等计算密集型任务至关重要。它能加速模型训练、数据分析以及复杂模拟的处理速度。

2、显存容量：是GPU用于存储数据和纹理的专用内存，与系统内存(RAM)不同，显存具有更高的带宽和更快的访问速度。显存的大小和性能直接影响GPU处理大规模数据的能力。

3、显存带宽：作为GPU与显存之间数据传输的桥梁;显存带宽=显存位宽x显存频率，显存与显存类型有关，目前主流英伟达Tesla系列卡都是HBM（高带宽显存）、而GeForce的4090等都是采购GDDR的显存，他们之间的显存带宽差距明显。

4、功耗情况：指单位时间内的能量消耗，反映消耗能量的速率，单位是瓦特(W)。影响的是整机的功耗、机柜的规划和算效比（每KW的算力）等；

5、卡间互联：以NVIDIA® NVLink技术举例，其是世界首项高速 GPU 互连技术，与传统的PCIe方案相比，能为多GPU间提供更快速的互联方案。目前H200型号的NVLink技术能够做到卡卡间双向互联900GB/s，而PCIe 5.0的通用互联技术目前仅能做到128GB/s；

问题来了，很多IT领域的朋友理解上述内容相对比较简单，但是很多智算中心非技术人员（如客户、销售人员、融资机构等），他们理解起来会比较吃力，换句话说“技术小白”怎么快速理解呢？接下来是重点，我们把一张GPU卡比作一辆货车，跟大家慢慢道来！

二、怎么理解GPU算力？类比汽车发动机的马力

算力指标是GPU的主要参数，但是很多新手朋友拿到GPU彩页后会“傻眼”，各类参数眼花缭乱（如下图H100的参数），比如FP64、FP32、FP16、还有FP16 Tensor Core等，到底该用哪个数值呢？智算中心领域在没有特殊说明情况下以FP16精度为准，但细心朋友可能发现和FP16相关的竟然有三个值（对应标准FP16是133.8T、Tensor Core FP16是989.4T，稀疏矩阵的Tensor Core FP16是1978.9T），到底用哪个呢？按照目前的主流方案，通常会采用FP16 Tenser加速的989TFPOPS，约1个P来计算，当然某些项目依然还是用稀疏的算力单卡2P；有啥说法吗？

英伟达视角：为体现自身技术牛x，一般用稀疏矩阵加速后数值做营销，对使用场景有条件限制（并不是所有的场景都能达稀疏算力的性能）。
政府层面：为了突出“业绩”，有时候也会用稀疏矩阵的数值（有面子）；
客户视角：会采用FP16，1个P的算力作为指标（实用为主），部分会备注要求稠密算力（我见得不少客户的招标文件明确提出非稀疏）；

结合个人理解，我们举一个不是特别恰当的例子，供大家理解GPU算力如下图所示（觉得有道理，帮忙点个赞）：

三、怎么理解GPU显存？类比汽车的车厢

GPU的显存大小决定了能够“装下”多少的数据，类比货车就是能装下多大尺寸（重量）的货物。显存类型与带宽密切相关，HBM显存好比货车自动的装卸货装置和普通GDDR好比人工的装卸货方式。

四、怎么理解卡间互联带宽？类比汽车多车厢组合的技术

怎么理解卡间互联技术呢？以大模型训练为例单卡的显存容量有限无法放进去大模型训练的数据，怎么办呢？需要多卡协作，英伟达NVLink技术就是解决的这个问题，可以把多卡的显存形成一个“大显存池”，类比货车的话，好比一个车厢装不下就需要挂多个车厢，不一样的是英伟达NVLink的多卡互联是把算力和显存同时扩大。

目前主流的机型其实是SXM接口的HGX模组产品，单台能够实现八卡的NVLink全互联，Nvidia GPU互联技术最新的（对应B200）是NVLink 5.0。与前代4.0相比通道数目不变，速率翻倍至1.8TB/s，PCIe目前最新的版本是Gen5，作为计算机当中最通用的互联技术，和Nvlink相比差距来到了14倍。