深度学习 训练吃显卡_做深度学习需要什么样的显卡?

可以利用 NVIDIA Tesla GPU来快速地处理高性能计算 (HPC) 和超大规模数据中心工作负载。现在，数据科学家和研究人员可以在能源勘探和深度学习等应用场合中解析PB级的数据，速度比使用传统 CPU 快几个数量级。Tesla GPU亦有能力以前所未有的超快速度运行更大型的模拟。此外，Tesla 还能为虚拟桌面、应用程序和工作站提供超高性能和用户密度。

目前最新的有NVIDIA A100，它搭载了第三代 Tensor Core， 借助 Tensor 浮点运算 (TF32) 精度，可提供比上一代高 10 倍之多的性能，并且无需更改代码，更能通过自动混合精度将性能进一步提升两倍。与第三代 NVIDIA® NVLink®、NVIDIA NVSwitch™、PCIe 4.0、Mellanox 和 Magnum IO 软件 SDK 结合使用时，系统中可以集成数千个 A100 GPU。这意味着，BERT 等大型 AI 模型只需在 A100 构成的集群上进行训练几十分钟，从而提供出色的性能和可扩展性。

NVIDIA 在深度学习训练方面的领先地位在 MLPerf 0.6 中得到了证明，这是 AI 训练的第一项行业级基准测试。

A100 引入了突破性的新功能优化推理工作负载。它通过全系列精度(从 FP32、FP16、INT8 一直到 INT4)加速，实现了强大的多元化用途。MIG 技术支持多个网络同时在单个 A100 GPU 运行，从而优化计算资源的利用率。在 A100 其他推理性能提升的基础上，结构化稀疏支持将性能再提升两倍。

NVIDIA 提供市场领先的推理性能，在第一项专门针对推理性能的行业级基准测试 MLPerf Inference 0.5中全面制胜的结果充分证明了这一点。A100 则再将性能提升 10 倍，在这样的领先基础上进一步取得了发展。

新出的RTX 3090也可以了解下~24G显存够用~