A Look Into Training Large Language Models on Next Generation Datacenters

本文是LLM系列文章，针对《A Look Into Training Large Language Models on Next Generation Datacenters》的翻译。

摘要

计算机网络研究还值得吗？鉴于超大规模网络在已部署的大型网络中占据主导地位，该领域存在哪些相关问题？我们采取非常规的方法来寻找相关的研究方向，从微软为机器学习建造一个 1000 亿美元的数据中心的计划开始。我们的目标是了解可以在这样的数据中心中训练哪些模型，以及在此过程中可能遇到的高级挑战。我们首先检查目标数据中心的冷却和电力要求所带来的限制，发现在单个位置构建是不可行的。我们使用 LM 缩放定律来确定我们可以训练 50T 或 100T 参数的模型。最后，我们研究分布式训练如何适用于这些模型以及网络要求是什么。我们的结论是，构建数据中心并训练此类模型在技术上是可行的，但这需要一种新颖的基于 NIC 的多路径传输以及整个训练堆栈的重新设计，为我们社区在不久的将来概述了研究议程。

1 引言

2 基础设施、电力和冷却

3 模型缩放

4 网络通讯

5 网络拓扑和传输协议

6 研究问题

需要取得重大突破才能满足下一代LLM不断增长的需求。我们预测，有必要向多路径通信过渡，以避免当前协议对完成时间尾部产生毁灭性影响。调度和布局也需要发展，并且由于张量并行性的故