万卡规模之后，什么才是AI集群的分水岭？

关注

原创最新推荐文章于 2026-09-16 13:22:14 发布 394 阅读 AI 写同款· GEO 优化 ›

从分布式训练到万卡集群：系统能力才是扩展效率的关键并行计算是提升大模型训练效率的核心手段，但分布式训练并非简单增加GPU数量就能实现线性加速。扩展效率受通信开销、任务调度、数据加载、容错机制等系统因素制约，即使拥有万卡集群，系统短板也会成为性能天花板。理解数据并行、张量并行、流水线并行等基础原理，掌握通信与计算重叠、checkpoint断点续训、性能剖析等工程方法，是构建可扩展训练系统的前提。本文从这些通用技术概念出发，结合PyTorch DDP、通信基准测试、Profiler等实践工具，剖析从单卡到多卡再到万卡集群的关键系统挑战，帮助你在不同规模下定位训阅读详情

在当今激烈的全球AI竞赛之中，除了AI大模型的较量之外，AI基础设施的竞争亦是核心焦点。

Gartner预测，到2026年，全球AI总支出将攀升至2.52万亿美元，其中构建 AI 基础设施的支出增长率高达49%。当AI大模型参数量进化到万亿规模、算力集群规模攀升至万卡乃至十万卡，用户“算力焦虑”与AI集群算力利用率（MFU）低下形成极为尖锐的供需矛盾时，如何提升AI基础设施的协同效率就成为整个产业界亟待突破的一道“难题”。

而解决这道“难题”的本质在于提升数据在计算、存储与网络间流转和处理效率，让数据不断突破极限跑得再快一些。为此，中科曙光发布首款全栈自研400G无损高速网络--scaleFabric，同时结合超级隧道等技术，构筑起“存算传一体化”紧耦合架构，为AI集群提供高效、安全、稳定的数据供给。

AI基础设施步入强协同阶段

近年来，AI基础设施的发展脉络逐渐有迹可循。自从AI大模型爆发，迅速带动算力等AI基础设施建设的兴起。随着最近几年完成阶段性的建设之后，AI基础设施又迎来了一个新的关键阶段：政府工作报告首次提出要发展超大规模智算集群等新基建，而如何将AI集群庞大的算力资源充分发挥出效能，从而满足用户迫切的需求和进一步推动AI发展，成为当下行业面临的现实问题。

在曙光信息产业（北京）有限公司总裁助理、分布式存储产品部总经理石静看来，当前AI基础设施在计算、存储与网络三个层面主要面临着以下核心挑战：

其一、AI集群的规模在持续扩张，在堆砌大量AI算力之后，算力效能成为制约整个AI发展的瓶颈所在。中国信息通信研究院报告显示，大模型训练的算力需求大约每3.5个月就会翻一番，这意味着万卡级别甚至更大规模的AI集群未来会越来越多，且亟待充分释放算力的能效。

其二、与数据密切相关的存储，需要更好地匹配算力需求，充分协助算力将效能发挥出来。

其三、如果是算力是AI时代的内核、数据是仓库，那么网络就是脉络。随着AI集群规模持续增加，网络层面的“通信墙”正在成为成为制约AI集群性能的突出挑战，网络性能是影响AI集群效率的关键变量。“AI集群的网络性能越来越重要。现在很多新建集群，基本都过渡到400G网络。”曙光信息产业（北京）有限公司scaleFabric产品经理纵瑞博介绍道。

事实上，中科曙光发布的国内首款原生无损RDMA高速网络scaleFabric，即是针对当下AI集群愈发突出的网络性能挑战。据悉，scaleFabric面向超大规模智算集群设计，中科曙光从核心关键IP、芯片、网卡到交换机、驱动与管理软件均实现自主研发，构建起scaleFabric从硬件到软件的完整技术体系。

毫无疑问，随着AI快速发展带来对于性能的持续需求，除了局部突破性能瓶颈之外，AI基础设施作为一个整体的重要性愈发关键，需要计算、存储和网络形成一体化、高效协同，“AI基础设施步入紧耦合、强协同的新发展阶段，只有这样才能让用户的投资建设回报率最高。”石静如是说。

算存传一体化离不开这个法宝

如果说scaleFabric相当于将数据中心网络从国道升级到超级高速公路，那么“超级隧道”技术则赋予了这条高速公路的智能化调度能力，可以根据AI集群的不同IO类型来设计路线，设计出一条条专属数据通道，让数据沿最优路径高速流动，有效减少网络拥堵和资源竞争，从而串联起计算、存储与网络，实现AI基础设施的一体化和高效协同。

事实上，AI对于数据存储有着高性能、高带宽、低时延的显著需求。此外AI的预训练、推理等不同工作负载的IO特征又有着明显差异。例如，在预训练阶段的数据加载，需要短时间完成海量数据的顺序读取；训练阶段的Checkpoint则需要大量的并发读写；而越来越多的推理任务，则对于小IO的随机吞吐要求更高……

因此，“超级隧道”技术的设计思路在当前很有必要。那么，曙光存储是如何实现“超级隧道”技术，并且让其与自研RDMA高速网络scaleFabric深度适配、协同工作的？

石静介绍，“超级隧道”技术在硬件层面为各数据域配置独享的RDMA网络连接和PCIe通道，并通过NUMA亲和性优化资源分配；在软件层面实现线程、内存与存储资源的绑定调度；同时通过软硬件协同优化设计，来实现数据高速流动最优化路径，从而实现计算、存储与网络的一体化，并持续为AI计算提供稳定的数据负载支撑。

具体来看，“超级隧道”技术充分利用了RDMA高速网络的高性能和低延时的特点，利用独有的虚拟网卡技术虚拟出多个小网卡，既实现了不同数据的链路均衡保障，又让资源得到隔离，使得不同数据链路之间互不干扰和争抢资源。