AMD在新的MLPerf基准测试中缩小了与Nvidia的差距

AMD、Untether AI、Google、Intel和Nvidia的新基准测试结果显示，AI硅片性能竞争日趋激烈。然而，系统设计、网络和软件使AI大放异彩，而这正是Nvidia的强项。

终于，我可以停止抱怨AMD缺乏公开的AI基准测试了。AMD发布了其MI300 GPU的优秀MLPerf推理结果，虽然只在一个基准测试上与Nvidia H100竞争。加拿大初创公司Untether.ai也发布了新的推理基准测试，展示其能效。让我们来看看。

MLPerf推理4.1基准测试套件

控制和发布MLPerf基准测试的MLCommons行业联盟扩展了每年两次的推理基准测试套件，增加了一个新的基准测试，用于日益流行的专家混合（MoE）AI模型。MoE模型结合了多个模型，以提高准确性并降低大型语言模型（LLM）如OpenAI的GPT-4的训练成本。虽然AMD没有发布MoE基准测试，但既然他们已经打开了基准测试的大门，AMD发言人表示我们很快会看到更多的基准测试结果。

看到新处理器的MLPerf提交确实令人鼓舞。具体来说，除了Nvidia的Blackwell和AMD的首次提交之外，我们现在还有Untether.ai、AMD下一代Turin CPU、Google的Trillium TPUv6e加速器以及Intel的Granite Rapids Xeon CPU的选定基准测试。我们将在此重点讨论Nvidia、AMD和Untether.ai。

AMD大致与Nvidia H100持平，而H200则快43%

虽然AMD之前披露了突出原始理论性能的微基准测试，例如MI300的数学性能，但这些并不反映复杂的AI技术栈世界。这次新的基准测试无法验证AMD的MI300是最快的AI GPU的市场营销说法，但在运行实际的AI工作负载时，其性能大致与H100相当。然而，Nvidia H200在相同基准测试中比MI300快约43%。

我们注意到，Llama 2 70B基准测试并未真正展示AMD在支持更大模型方面的大容量HBM优势。希望他们能在未来的MLPerf发布中运行新的Mixtral MoE。

Nvidia还发布了