bbbeoy的专栏

我们在前文介绍过，微软 ZeRO 可以对一个万亿参数模型可以使用 8 路模型并行、64 路管道并行和 8 路数据并行在 4,096 个 NVIDIA A100 GPU 上进行扩展。而FSDP（Fully Sharded Data Parallel）是Facebook 深度借鉴微软ZeRO之后提出的PyTorch DDP升级版本，可以认为是对标微软 ZeRO，其本质是 parameter sharding。Parameter sharding 就是把模型参数等切分到各个GPU之上。

大模型训练框架论文

NVIDIA Megatron 是一个基于 PyTorch 的分布式训练框架，用来训练超大Transformer语言模型，其通过综合应用了数据并行，Tensor并行和Pipeline并行来复现 GPT3，值得我们深入分析其背后机理。本系列大概有6～7篇文章，通过论文和源码和大家一起学习研究。本文把 Megatron 的两篇论文/一篇官方PPT 选取部分内容，糅合在一起进行翻译分析，希望大家可以通过本文对 Megatron 思路有一个基本了解。

Pytorch自动混合精度(AMP)训练_ytusdc的博客-优快云博客_pytorch 混合精度训练

DL中的混合精度训练是同时使用单精度(32位)和半精度(16位)表示的过程。这是通过模型在FP32中为需要精度的计算保留一些训练来实现的，而在FP16中对精度不那么重要的其他计算进行训练。回归DL的基本训练原理，复习基础技术，可以缓解神经网络训练阶段的压力，优化GPU的使用。在本指南中，我们将更深入地探讨混合精度训练和自动混合精度训练，以及它如何保持神经网络训练阶段的准确性，同时减少训练所花费的时间。这里没有太多需要调整的地方，但这将是你的代码中支持混合精度训练的部分，所以要特别小心并仔细检查你的工作。..

大规模模型训练其实就是在和计算、存储和通信玩的过程，所以我列一下跟这些相关的文章。一. 大规模模型并行策略先来介绍一下几种经典的并行范式，以及他们对应的经典文章。

AI领域的许多最新进展都围绕大规模神经网络展开，但训练大规模神经网络是一项艰巨的工程和研究挑战，需要协调GPU集群来执行单个同步计算。随着集群数和模型规模的增长，机器学习从业者开发了多项技术，在多个GPU上进行并行模型训练。乍一看，这些并行技术令人生畏，但只需对计算结构进行一些假设，这些技术就会变得清晰——在这一点上，就像数据包在网络交换机之间传递一样，那也只是从A到B传递并不透明的位（bits）。三层模型中的并行策略。每种颜色代表一层，虚线分隔不同的 GPU。训练神经网络是一个迭代的过程。...

[细读经典]Megatron论文和代码详细分析(5)-T5-part 1-启动环境-data/tensor/pipeline并行 - 知乎[细读经典]Megatron论文和代码详细分析(2) - 知乎 megatron学习总结 - 知乎

我们于今年 2 月份。这是一个开源深度学习训练优化库，其中包含的一个新的显存优化技术—— ZeRO（零冗余优化器），通过扩大规模，提升速度，控制成本，提升可用性，极大地推进了大模型训练能力。DeepSpeed 已经帮助研究人员开发了图灵自然语言生成模型()，其在发表时为世界上最大的语言模型（拥有 170 亿参数），并有着最佳的精度。我们在 5 月份——支持有着 2000 亿参数的模型训练，与最新技术相比，训练速度可达 10 倍——以及一系列计算、IO 和收敛优化功能，从而助力最快速的 BERT 训练。...