手撕烂笔头-Nvidia数据中心GPU A100 H100的一些硬件规格情况

原创 已于 2023-08-01 00:29:13 修改 · 5.6k 阅读 · 2 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#人工智能 #GPU

于 2023-07-20 00:46:05 首次发布
文章详细介绍了Nvidia的三条主要产品线——GeForce,Quadro和Tesla，以及其GPU的技术迭代，包括微架构的发展，如Amper和Hopper，以及关键指标如算力、内存技术和PCIe版本的提升。文章还提到了美国出口限制对中国市场的影响，例如H800和A800的调整。

Nvidia 3条产品线

        - PC市场的GeForce产品线，比如RTX3090 4090 5090

        - 工作站市场的Quadro产品线

        - 数据中心高性能计算的Tesla产品线，比如V100 A100 H100

目前大模型主要依赖Tesla系列，比如chatgpt 就用了几千张A100或者H100训练

NVIDIA 数据中心的GPU大约2年推出一种微架构，从06年开始大概历史：（工艺不太准确 供参考级别）

1. 06年 Tesla特斯拉微架构 大概65nm工艺

2. 10年 Fermi费米微架构 大概40nm工艺

3. 12年 Kepler开普勒微架构 28nm，比如K110

4. 14年 Maxwell麦斯威尔微架构 28nm

5. 16年 Pascal帕斯卡微架构 12nm 用了FinFET工艺

6. 17年 Volta伏特微架构 10nm，智能音箱行业在17年左右突起，有些用了它

7. 20年 Amper安培微架构 台积电7nm，比如典型的A100（540亿晶体管）

8. 22年 Hopper赫柏（琥珀）微架构 台积电4nm，比如典型的H100（800亿晶体管）

预估下一代是AdaLovelace架构

另外所谓A100 H100的前缀A就是安培的Amper的A，H就是琥珀Hopper的H。如果下一代是AdaLovelace估计容易混淆，叫ADxxx了。

另外Nvidia的GPU迭代感觉基本2年一代，每一代封装工艺基本提升一代，但是封装工艺和当时最好的工艺基本差一代。比如22年3nm，H100用了4nm。20年5nm，A100用了7nm。GPU的封装工艺底层逻辑有一个依赖，就是封装工艺。

而且每一代微架构用一个科学家名字替代。比如Hoppe

最低0.47元/天 解锁文章
【NPU 系列专栏 2.1 -- NVIDIA 的 H100 和 H200 的算力介绍】
CodingCos的博客
07-25 8676
与 H100 相比，H200 的内存更大（141GB），带宽更高（4.8 TB/s），分别约为 H100 的 1.8 倍和 1.4 倍。Llama 测试的基准测试证明了这一优势，即使在与 H100 相同的功率水平 (700W TDP) 下，H200 也能实现高达 28% 的提升。这些比较凸显了 H200 GPU 相对于 H100 所取得的技术进步和性能增强，特别是在通过更大的内存容量、更高的内存带宽和改进的热管理来处理像 Llama 2 70B 这样的生成式 AI 推理工作负载的需求方面。
【NVIDIA-H100】基于 nvidia-smi 数据H100 GPU 功耗异常深度分析与解决方案
jundao1997的专栏
07-09 725
3 号 H100 GPU 功耗异常偏低的根源，集中在“温度传感器故障”“显存散热失效”“驱动 / 系统策略冲突”三个核心维度。通过 “物理层快速排查→硬件级深度诊断→软件与业务适配优化” 的分步方案，可精准定位故障点并修复。长期来看，需建立 “硬件巡检 + 驱动管控 + 负载均衡” 的三位一体运维体系，保障 GPU 集群的高可用性与算力稳定性，为 AI 训练、科学计算等业务筑牢底层硬件基石。
深入解析H100、A100和4090三款显卡的性能对比与应用场景
热门推荐
weixin_41496173的博客
06-24 7万+
H100、A100和4090三款显卡的性能对比与应用场景
主流算力卡性能对比分析
最新发布
m0_69867914的博客
09-11 4699
超大规模AI训练/HPC：优先选择NVIDIA H100或AMD MI300X，需关注显存带宽和多卡互联能力。企业级AI训练：NVIDIA A100性价比更高，生态成熟。国内自主可控需求：华为昇腾910B是首选，支持液冷和低功耗设计。本地AI推理/游戏：NVIDIA RTX 4090或RTX 5090性价比突出，但需注意显存容量限制。边缘计算/低功耗场景：华为昇腾310或清微智能TX536（能效比6.3TOPS/W@INT8）更合适。
NVIDIA H100 vs A100：新一代GPU架构性能对比分析
像风一样自由
04-11 6540
H100通过架构革新实现了代际性能飞跃，但其价值需结合具体应用场景评估。对于从事大模型研究的科研团队，建议优先构建H100计算集群；而传统科学计算项目仍可沿用A100以平衡成本效益。随着CUDA 12.5对Hopper架构的深度优化，H100的潜能将在2025年得到进一步释放‌。
A100 vs H100 vs 4090：百张显卡实测深度学习性价比
像风一样自由
04-09 5822
在H100展现极致性能、A100坚守性价比防线、4090打破消费级界限的算力战国时代，科研工作者更需要建立多维评估体系。通过本文的实测数据可以发现：当需要处理千亿参数级别任务时，H100集群仍是无可争议的王者；而在中小规模实验中，4090已展现出颠覆传统格局的潜力。对于高校科研群体，采用混合算力架构+弹性云服务的组合策略，或许是最优解。
PCIE2.0/PCIE3.0/PCIE4.0/PCIE5.0接口的带宽、速率计算,nvlink互联
qq_15821487的博客
09-12 5049
PCI-Express(peripheral component interconnect express)是一种高速串行计算机扩展总线标准，它原来的名称为“3GIO”，是由英特尔在2001年提出的，旨在替代旧的PCI，PCI-X和AGP总线标准。PCIe属于高速串行点对点双通道高带宽传输，所连接的设备分配独享通道带宽，不共享总线带宽，主要支持主动电源管理，错误报告，端对端的可靠性传输，热插拔以及服务质量(QOS)等功能。
大模型微调-在3090+A100+H100上微调Mistra-7B大模型-附流程教程+项目源码-优质大模型项目分享.zip
10-16
Mistra-7B作为一个典型的大型预训练模型，通过在NVIDIA的GeForce RTX 3090、NVIDIA A100以及NVIDIA H100等高性能GPU上进行微调，可以显著提升模型在特定任务上的性能表现。 Mistra-7B模型因其庞大的参数规模和强大...
nvidia H100 datasheet
11-26
配备H100 NVL GPU的服务器在受限功率的数据中心环境中，能够将Llama 2 70B模型的性能提升至NVIDIA A100系统的5倍，同时保持低延迟。 此外，H100 NVL附带了为期五年的NVIDIA AI Enterprise订阅，简化了构建企业级AI...
NVIDIA H100 GPU 核心资料白皮书-解密了H100核心及PCIE5.0-SXM5总线互联技术
04-07
NVIDIA H100 GPU是NVIDIA公司推出的一款高性能、可扩展且安全的数据中心级加速器，其核心技术亮点包括PCIe 5.0接口、SXM5总线互联技术和Hopper架构。这款GPU专为应对大数据处理、机器学习、深度学习和高性能计算等...
H100的卡 需要多少才能有10P的算力
kcarly的专栏
03-28 2713
要确定需要多少块NVIDIA H100 GPU才能达到10 PetaFLOPS（10P）的算力，需结合其浮点计算性能指标进行理论推导和实际场景分析。
英伟达GPU对比分析：A100、A800、H100与H800
DZSpace，专注于计算机科学与技术领域的技术博主，致力于分享实用知识与技巧，帮助读者快速掌握技术要点，共同探索计算机世界的无限可能。欢迎访问DZSpace的博客，一起学习进步！
06-12 9752
在当今技术迅速发展的时代，英伟达的GPU产品线提供了多种高性能选项，以满足不同类型的工作负载需求。本文将对英伟达的四种GPU型号——A100、A800、H100和H800进行深入对比分析，探讨它们在性能、架构、应用场景等方面的差异，以帮助读者更好地理解和选择。
NVIDIA A100 和 H100 硬件架构学习
qq_27763933的博客
08-04 3455
WGMMA指令的引入，合并SM里面的4个tensor core 效果类似于一个大的tensor core，减少load tensor次数（A/B tensor 共用），同时支持Tcore core 的inputs 来源于share memory（A100架构及之前的架构，inputs 必须from registers），具体的WGMMA指令inputA from registers or share memory，inputB must from share memory。
如何选择GPU显卡，带你对比A100/H100/4090性价比、训练/推理该使用谁？
丨汀、的博客
03-21 5万+
如何选择GPU显卡，带你对比A100/H100/4090性价比、训练/推理该使用谁？
全面介绍英伟达A100、H100、L100、V100、T、B系列产品型号、性能、技术
2402_84466582的博客
06-11 1万+
全面介绍英伟达A100、H100、L100、V100、T、B系列产品型号、性能、技术
一文看懂英伟达A100、H100、A800、H800、H20
本人程序员，不需要做任何吹嘘，只是实在写点程序，写点文档，熟悉各类主流框架，SSM，SpringBoot，Flask，Djiango，Mysql，Sqlite，VUE，Uniapp等，各类程序设计专家，优质作者
02-18 1万+
想要Deepseek私有化部署吗？无论是训练大型AI模型，还是进行高性能计算（HPC），还是Deepseek私有化部署，都需要强大的GPU支持。而英伟达（NVIDIA）作为全球领先的AI芯片制造商，推出了一系列高性能GPU，包括等，广泛应用于AI训练、推理、科学计算等领域。如果想搭建一个属于自己的算力中心，该如何选择合适的GPU？本文将带你详细了解这些GPU的特性，并指导你如何搭建算力中心。一、英伟达算力GPU系列解析1. A100：数据中心AI计算的奠基石：Ampere：6912：432。
DeepSeek-V3训练算力需求分析：千卡H100是否能满足？
专注最新最热的AI知识学习，以实战方式总结心得。
08-18 688
根据 DeepSeek-V3 的官方训练配置及 H100 与 H800 的性能对比，结合行业对大模型训练的资源需求分析，以下是针对“
A100与A800 算力
2301_79109617的博客
07-25 1万+
A800 的带宽从 A100 的 600GB/s 降为 400GB/s，H800 的具体参数尚未公开，据彭博社报道，它的带宽只有 H100（900 GB/s） 的约一半，执行同样的 AI 任务时，H800 会比 H100 多花 10% -30% 的时间。A100 的 FP32（指用 4 字节进行编码存储的计算）算力达到 19.5 TFLOPS（1 TFLOPS 即每秒进行一万亿次浮点运算），H100 的 FP32 算力更高达 134 TFLOPS，是竞品 AMD MI250 的约 4 倍。
比A100性能高4.5倍！英伟达H100横扫AI推理基准测试
zandaoguang的博客
09-10 2038
视学算法报道编辑：武穆【导读】NVIDIA H100 Tensor Core GPU在MLPerf行业标准AI基准测试中首次亮相，创下了所有工作负载推理的世界纪录，提供的性能比上一代GPU高4.5 倍。不久前，英伟达公布了旗下的芯片，在MLPerf行业标准AI基准测试的结果。根据英伟达的说法，H100（又名 Hopper），提高了所有六个神经网络在每个加速器上的表现标准，比上一代的A100...
nvidia-smi查看H100 GPU 功耗变成500W
08-23
在使用 NVIDIA H100 GPU 时，如果 `nvidia-smi` 显示的功耗为 500W，这可能表示 GPU 正在以接近其最大功率限制运行。以下是一些排查和解决方法： 1. **检查当前的功率限制** 使用 `nvidia-smi -q` 命令查看当前 GPU 的功率限制和实际功耗情况。例如： ```bash nvidia-smi -q -d POWER ``` 这将显示当前 GPU 的功率限制（Power Limit）和默认功率限制（Default Power Limit）。如果当前功率限制接近 500W，则可能是系统或应用程序主动设置了较高的功率限制。 2. **调整功率限制** 如果需要降低 GPU 的功耗，可以通过以下命令设置一个较低的功率限制（例如 300W）： ```bash nvidia-smi -pl 300 ``` 这将把 GPU 的功率限制设置为 300W。如果希望在系统重启后仍然保持该设置，可以将其写入持久模式： ```bash nvidia-smi -pm 1 nvidia-smi -pl 300 ``` 3. **检查 GPU 使用情况** 使用 `nvidia-smi` 命令监控 GPU 的使用情况，确保没有不必要的进程占用 GPU 资源： ```bash nvidia-smi --query-gpu=index,utilization.gpu --format=csv ``` 如果发现有未知或不必要的进程占用 GPU，可以使用以下命令终止它们： ```bash nvidia-smi --query-gpu=index,name,processes.pid --format=csv kill -9 <PID> ``` 4. **检查 GPU 驱动和固件版本** 确保使用的 NVIDIA 驱动和固件版本是最新的，因为旧版本可能存在功率管理相关的问题。可以使用以下命令检查当前驱动版本： ```bash nvidia-smi --query-gpu=driver_version --format=csv ``` 5. **检查系统 BIOS 和硬件配置** 某些系统 BIOS 设置可能会影响 GPU 的功率管理行为。检查 BIOS 中的电源管理设置，确保其配置为允许 GPU 动态调整功率。 6. **使用持久模式** 启用持久模式可以确保 GPU 在系统重启后保持功率限制设置： ```bash nvidia-smi -pm 1 ``` 通过以上步骤，可以有效地排查和解决 `nvidia-smi` 显示 H100 GPU 功耗为 500W 的问题。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值