DPU构建新一代AI网络的优势与关键技术

本文节选自鄢贵海博士在新一代计算标准工作委员会主办的“新一代计算产业大会”上的报告内容，全文阅读大约需要8分钟。

一、算力与智能的大背景 

当前，我们正处于两个“ Scaling Law”激烈碰撞的时代。一个是摩尔定律的Scaling Law，就是摩尔定律，大家的看到的共识就是摩尔定律从2015年开始就已经显著放缓了，也就意味着单位芯片面积上能提供的性能增量变得越来越小。但是我们感受到，芯片的性能还是在快速上升的，最主要的原因必然就是单颗芯片的面积变得越来越大。

与此同时，我们看到了另外一个Scaling Law，大模型的Scaling Law，为把芯片做大，把算力做高提供了直接动机。大模型的Scaling Law发现的关键现象就是越多的模型参数，越高的算力、越大的数据集，就能提供越高的预测精度，俗称“大力出奇迹”。这不是黔驴技穷，而可能是智能“涌现”的必要条件。至此，我们看到了智能与算力构成了闭环，并相互强化。

算力来自于各种形式的并行计算系统。算力既涉及到应用层面的数据共享、同步、一致性、任务划分、调度、容错等问题，也涉及到物理结构层面的带宽、延迟、网络拓扑、传输协议、物理距离、能耗、制冷等等问题。今天的报告内容主要关注高速网络的问题，讨论在当前这个“算力即智能”的时代给高速网络带来了什么样的变化和挑战。认清这个变化可能就能看到其中蕴藏着的机遇。

二、AI芯片们

首先我们看一下芯片。毋庸置疑，AI需要“AI芯片”。但是AI芯片应该包括哪些核心芯片类型呢？单纯的GPU或者NPU是显然不够的。况且GPU出现30年，AI这个概念出现更早得多，但为什么之前GPU不被称之为AI芯片呢。还有现在一些优化得很好的AI算法，在CPU上也可以执行，或者用FPGA来加速AI算法执行的案例也不胜枚举，那这些CPU和FPGA也可以贴上AI芯片的标签吗？还有一些类脑芯片，Neuromorphic芯片，大都不够成熟，甚至不能执行当前主流的大模型算法，好像称之为AI芯片还是有点尴尬。这个问题其实不是要咬文嚼字，而是试图准确刻画在这一次如此重要的科技革命下，定位到真正的革命性的芯片，就好比PC时代定义了通用处理器芯片，移动互联网定义了智能手机的芯片。

当然，构建AI基础设施必须要CPU，但是我们通常不把CPU称之为AI芯片，原因是CPU技术先于AI技术的发展，没有理由在AI时代就将其冠以AI芯片的称谓。实则也没有必要，个人认为CPU已经是构建起来了我们整个信息化大厦的最粗的那根支柱，其地位之重要并不需要AI来加持。现在真正存在变数的两类芯片是负责多精度高密度计算的GPU/NPU芯片，和负责高速IO的DPU/IPU/NIC芯片。这两类芯片的演进与AI技术的发展直接相关。没有AI技术的发展，NVIDIA不会成为当前全球最具价值的企业。没有AI的发展，也不会急剧催生对高带宽、低延迟网络的要求，NVLink技术也不会成为行业的标杆，也就不会有后来的NVL72超节点AI服务器。

鉴于此，我们尝试给出AI芯片的一种“定义”：具备与特定AI算法的运算特征高度匹配的计算架构的芯片或芯片组就可称之为 AI 芯片。这里所谓“定义”，不需要教条的理解，更多是为了方便后续的描述和分类。这里的运算特征主要取决于算法，包括模型可并行、数据可并行、流水线并行、数据精度自适应、迭代、概率性与确定性、Memory footprint、非线性运算、Softmax等，计算架构主要取决于硬件实现，包括计算单元、缓存结构、阵列规模、互联拓扑、IO 带宽、指令集、可扩展性、虚拟化支持、处理延时、运行能耗、可靠性设计等。

从这个定义上看，AI芯片不仅包括大家耳熟能详的各类GPU/NPU芯片，还包括为了给这些GPU传输数据，构建大规模并行系统的网络芯片。简言之，要想得到有效的算力，不仅需要大量高性能的GPU算力芯片，还需要将这些芯片通过高效的网络有机地组合起来，协同工作。不妨称之为算力乘法定律：有效算力=算力x网络，缺一不可。