如何在AMD MI300X 服务器上部署 DeepSeek R1模型？

DeepSeek-R1凭借其深度推理能力备受关注，在语言模型性能基准测试中可与顶级闭源模型匹敌。

AMD Instinct MI300X GPU可在单节点上高效运行新发布的DeepSeek-R1和V3模型。

用户通过SGLang优化，将MI300X的性能提升至初始版本的4倍，且更多优化将在未来几周内集成到开源代码中。

MI300X的高内存带宽和容量优势，使Chain of Thought（CoT）推理能更快速、高效地访问大内存，支持实际应用中更长序列的处理。

在本博文中，我们将探讨DeepSeek-R1如何在AMD Instinct™ MI300X GPU上实现卓越性能，并与H200进行性能对比。借助MI300X，用户可在单节点上高效部署DeepSeek-R1和V3模型。仅通过两周的SGLang优化，推理速度已提升高达4倍，确保了高效扩展、更低延迟及优化吞吐量。MI300X的高带宽内存（HBM）和强大算力可处理复杂AI任务，支持更长序列和高要求推理。AMD与SGLang社区持续推进优化，包括融合MoE内核、MLA内核融合及推测性解码，使MI300X的AI推理体验更加强大。

目前，企业除了可以从AMD官方预定MI300X以外，还可以通过云平台来使用MI300X，例如DigitalOcean 最新推出的基于MI300X的GPU 裸金属服务器（具体详情可咨询卓普云）。

DeepSeek模型部署挑战

尽管大规模部署需求日益迫切，但实现最优推理性能仍面临技术挑战。DeepSeek-R1是一个超大规模模型（参数量超640 GB），即使以FP8精度训练，也无法在8卡NVIDIA H100单节点中部署。此外，其多头潜在注意力（MLA）和专家混合（MoE）架构需要高度优化的内核以实现高效扩展和定制化优化。最后，适配支持块量化FP8 GEMM