GiantPandaCV | 大模型训练：Megatron-Kwai中的内存优化

本文来源公众号“GiantPandaCV”，仅用于学术分享，侵权删，干货满满。

原文链接：大模型训练：Megatron-Kwai中的内存优化

原文：https://zhuanlan.zhihu.com/p/710296768

在上一篇文章中，我们介绍了大模型训练中的通信优化技术。

大模型训练：Megatron-Core中的通信优化

除了通信优化，对于大模型训练来说，内存优化也是非常重要的问题。在这篇文章里，我们会结合快手发表在今年ATC上的工作（Megatron-Kwai[1]），简单介绍一下内存优化技术。

背景

首先，根据生命周期的长短，我们将内存开销分为：长内存、中内存、和短内存。

长内存在训练任务开始以后就不会消失，包括模型参数、模型梯度、和优化器参