英伟达Blackwell称霸MLPerf！推理性能涨30倍，新一代AI怪兽诞生

【新智元导读】MLPerf Inference发布了最新测试结果，英伟达最新的Blackwell架构芯片上场与谷歌、AMD同场竞技，展现出明显的性能提升，甚至刷新了部分任务上的测试纪录。

大语言模型（LLM）推理是一个全栈挑战。

为了实现高吞吐量、低延迟的性能，不仅需要强大的GPU，还需要高带宽的芯片互连技术、高效的加速库以及高度优化的推理引擎。

就在刚刚，MLCommons发布了基准测试套件MLPerf Inference v4.1的最新测试结果，此次发布涵盖了专家混合（MoE）模型架构的首次评测结果，展示了与推理功耗相关的新发现。