大模型训练 GPU 怎么选？一文读懂

A100

A100 简直是大规模并行计算任务与大模型训练的 “黄金搭档”，是目前使用最为广泛的 GPU 之一。它的性价比相当高，官方定价在 1.5 万美元左右。然而，市场上溢价情况十分严重，在国内的价格区间大概在 10 万 - 20 万人民币。

H100

H100 作为 A100 的 “接班人”，性能有了显著提升，NVLink 通信速度更快，尤其针对人工智能、机器学习和深度学习场景做了优化。它的价格大约是 A100 的两倍，官方售价在 2.5 万 - 3 万美元之间。但现实中，溢价严重到即便出价 3.5 万美元，国内的参考价格区间在 25 万 - 35 万人民币。

不过，由于政治因素，A100 和 H100 在去年受到了限制。为此，NVIDIA 专门推出了针对中国市场的替代型号。

A800

A800 是 A100 的替代型号，它在 A100 的基础上，把 NVLink 高速互连总线的带宽从 600GB/s 降到了 400GB/s，其他方面则保持不变。预计价格区间和 A100 差不多，在 10 万 - 20 万人民币之间。

H800

H800 是 H100 的替代型号，推测也是通过降低带宽来调整性能。虽然具体价格不清楚，但考虑到 H100 的价格和市场情况，大概在 35 万 - 45 万人民币这个范围。

V100

如果和前面提到的 A100、H100、A800、H800 比起来，V100 的性能确实要弱一些。它的 32G 版本价格一般在 5 万 - 8 万人民币。

性能对比： H100（或 H800）＞ A100（或 A800）＞ V100 。

 

 

资料：

 

为什么大模型训练需要GPU，以及适合训练大模型的GPU介绍-优快云博客