PyTorch 原生FP8训练进展

最新推荐文章于 2025-10-25 08:01:36 发布
原创 最新推荐文章于 2025-10-25 08:01:36 发布 · 1.4k 阅读 · 25 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#pytorch #人工智能 #python

PyTorch 原生FP8训练进展

GiantPandaCV GiantPandaCV 2025年01月08日 19:57 韩国

博客来源：https://pytorch.org/blog/training-using-float8-fsdp2/ 。by IBM and Meta 。这里主要是汇总一下FSDP2和FP8训练相关的内容，目前的实践主要集中在TorchTitan（DTensor，Async Tensor Parallelism，FP8 Allgather等等）和torchao上面，包括torch.compile编译器也在做对应的支持，PyTorch对于这个工作其实还没做到很稳定，和Meagtron-LM的FP8类似处于半成品阶段，例如API接口变动就很大，这里可以先简单了解一下他们的进展。以下是PyTorch关于FP8训练最新进展的博客翻译。

FSDP2和FP8训练 相关前置内容：

最低0.47元/天 解锁文章
FSDP、FSDP2 和 Megatron-LM 是三种主流的分布式训练框架或技术
高效匠人
09-17 1333
维度开发方NVIDIA基础框架PyTorch 原生支持自研框架（基于 PyTorch）并行方式主要是数据并行 + 分片混合并行（TP + PP + DP）显存效率高（参数/梯度/优化器分片）极高（多维度分片）训练速度快（尤其是 FSDP2 + compile）非常快（高度优化）易用性较高（PyTorch 风格）较低（需深入理解并行）扩展性支持数百 GPU支持数千 GPU适用场景中大型模型、研究场景超大规模工业训练是否支持编译加速✅ FSDP2 支持。
PyTorch博客 《使用 Triton 加速 2D 动态块量化 Float8 GEMM 简介》
zengxiaojian2的博客
01-23 1204
2025年01月19日 23:14日本博客来源：https://pytorch.org/blog/accelerating-gemms-triton/ 这里做了翻译。这篇博客主要讲了如何用 Triton 来优化 Float8 格式的矩阵乘法(GEMM)运算。文章提出了一个叫 GridQuant 的方法，通过把大矩阵分成 256x256 的小块，然后再把每个小块分成更小的 32x32 的格子来处理数据。这种方法比之前的方案快了将近两倍。
优化PyTorch的速度和内存效率（2022）
AI公园
06-21 1538
点击上方“AI公园”，关注公众号，选择加“星标“或“置顶”作者：Jack Chih-Hsu Lin编译：ronghuaiyang导读你应该知道的18个PyTorch小技巧。调试深度学习的pipelines就像找到最合适的齿轮组合你为什么要读这篇文章？深度学习模型的训练/推理过程涉及很多步骤。在有限的时间和资源条件下，每个迭代的速度越快，整个模型的预测性能就越快。我收集了几...
深入理解浮点数格式：FP32、BF16、FP16与FP8的技术对比
The cure for boredom is curiosity. This is the log of its adventures.
10-08 1651
格式总位数符号位指数位尾数位偏移量精度动态范围FP32321823127高很大BF1616187127中很大FP1616151015中小FP8-E5M2815215低中FP8-E4M381437低小。
使用FP8加速PyTorch训练的两种方法总结
deephub
05-24 5938
在这篇文章中，我们演示了如何编写PyTorch训练脚本来使用8位浮点类型。TE是一个非常好的库，因为它可以让我们的代码修改量最小，而PyTorch原生FP8支持虽然需要修改代码，并且还是在试验阶段（最新的2.3还是在试验阶段），可能会产生问题，但是这会让训练速度更快。不过总的来说FP8的确可以加快我们的训练速度，提高GPU的使用效率。这里要提一句TE是由NVIDIA开发的，并对其gpu进行了大量定制，所以如果是N卡的话可以直接用TE。
使用FP8加速PyTorch训练工作负载
Knowledgebase的博客
12-31 1647
在过去的几年中，人工智能领域取得了革命性的进展，最好的例子可能是像ChatGPT这样基于LLM的应用的近期流行和广泛传播。幸运的是，云服务提供商如AWS、GCP和Microsoft Azure提供了“按使用付费”（按小时/按秒）的H100供电机器的访问权限，从而为更广泛的人工智能开发社区打开了使用这些设备的机会。这一点在p5实例系列中尤为明显。尽管使用FP8进行训练的理论超出了本文的范围（例如，请参阅此处），但重要的是要意识到使用FP8的机制比16位替代方案（float16和bfloat16）复杂得多。
PyTorch混合精度训练案例精讲：专家级实现与调优指南
传统的训练方法主要采用单精度浮点数（FP32），而混合精度训练则结合了FP32和半精度浮点数（FP16）的优势，来提升计算效率和减少内存占用。 ## 1.2 混合精度训练的优势 混合精度训练通过在模型的不同层使用不同...
PyTorch混合精度训练进阶秘籍：优化你的深度学习模型
随着数据集的不断增大和模型复杂度的提升，传统的单精度（FP32）训练方法面临了越来越多的挑战，特别是对计算资源的需求巨大。这导致了混合精度训练方法的出现，旨在通过结合单精度和半精度（FP16）计算来优化性能。...
加速大模型训练：FP16、FP8的精度与效率深度探索
在深入探讨FP16和FP8精度训练之前，首先需要建立一个扎实的深度学习模型训练基础。本章将概述模型训练的基本流程，包括数据准备、网络架构设计、损失函数选择、优化算法运用、以及模型的评估和优化。 在准备数据时...
AI原生应用领域工作记忆的模型训练优化
AI天才研究院
07-08 983
AI原生应用（如对话系统、生成式AI）的核心能力依赖于模型对动态信息的临时存储与操作——即工作记忆然而，传统深度学习模型（如Transformer）的工作记忆机制（如注意力机制）存在长序列遗忘、动态更新困难、可解释性差等问题，严重限制了应用的交互性与智能性。本文从第一性原理出发，系统分析工作记忆的本质特征（有限容量、动态更新、选择性访问），构建了“理论框架-架构设计-实现机制-实际应用”的全链路优化体系。通过引入显式记忆模块动态注意力策略元学习训练方法等，解决了工作记忆的容量限制、更新效率与泛化能力问题。
万字综述：全面梳理 FP8 训练和推理技术
热门推荐
m0_59235245的博客
08-27 1万+
在 [1812.08011] Training Deep Neural Networks with 8-bit Floating Point Numbers 中，作者首次展示了使用 8bit 浮点数（FP8）成功训练 Deep Neural Network 模型，并可以保持和 FP32 相当的精度。
万字综述：全面梳理 FP8 训练和推理技术 -- 附录
强化学习曾小健
07-23 2348
Transformer 模型中最主要的操作就是矩阵乘，也就是 Linear Layer，如下图所示（来自 [2309.17224] Training and inference of large language models using 8-bit floating point）为一个 Linear 操作的伪代码，其核心思路就是在 FP8 矩阵乘之前需要转换的 Tensor 转换为 FP8 类型，如下图红框所示；然而由于篇幅的原因，部分内容并没有具体展开，这篇文章中我们对其补充，并结合代码来介绍。
【免费下载】 TorchTitan项目中的FSDP2技术解析：新一代全分片数据并行方案
gitblog_00448的博客
06-10 968
在深度学习模型训练领域，数据并行技术是解决大规模模型训练的关键。PyTorch生态中的全分片数据并行(FSDP)技术经过迭代演进，推出了全新的FSDP2版本。本文将深入解析TorchTitan项目中采用的FSDP2技术，帮助开发者理解其设计理念、技术优势和使用方法。 ## FSDP1的局限性 传统的FSDP1实现虽然提供了高效的eager模式执行能力，包括通信分桶和通信/计算重叠等功能，但其核...
mirrors/Kijai/flux-fp8开发环境搭建：5分钟配置支持FP8的PyTorch环境
gitblog_00588的博客
09-22 1098
你是否还在为AI模型训练推理时的显存爆炸、算力不足而烦恼？作为Black Forest Labs FLUX系列模型的FP8量化版本，flux-fp8通过极致压缩实现了模型体积减少50%、推理速度提升2倍的突破。但要充分释放其潜力，关键在于配置一个优化的开发环境。本文将带你5分钟内完成支持FP8的PyTorch环境搭建，包含硬件兼容性检测、环境配置、模型验证全流程，并提供3类问题解决方案和5组性能对...
混合精度训练实战：FP16/FP8如何提升3倍AI模型训练速度
AladdinEdu，你的AI学习实践工作坊。让想法落地，让研究加速。助力高校AI人才成长，点亮创新未来。
04-11 1445
2018年NVIDIA在Volta架构中首次引入Tensor Core，将FP16混合精度训练速度提升6倍，掀起了深度学习领域的“精度革命”。混合精度训练通过‌**动态分配计算精度‌**，在保持模型收敛性的前提下，实现‌**3倍训练加速‌和‌50%显存节省‌**。本文以PyTorch框架为例，解析FP16/FP8的实现原理，并演示如何通过自动混合精度（AMP）技术优化训练流程。
verl FSDP2全面支持：torch分布式团队推荐方案
gitblog_00594的博客
08-28 1058
verl FSDP2全面支持：torch分布式团队推荐方案 【免费下载链接】verl verl: Volcano Engine Reinforcement Learning for LLMs 项目地址: https://gitco...
PyTorch tutorials分布式训练：DDP与FSDP2并行计算架构解析
最新发布
gitblog_00836的博客
10-25 914
在深度学习模型训练中，随着模型规模和数据量的增长，单GPU已难以满足需求。分布式训练通过多GPU并行计算提升效率，PyTorch提供了DDP（Distributed Data Parallel，分布式数据并行）和FSDP（Fully Sharded Data Parallel，完全分片数据并行）两种核心方案。本文将对比解析DDP与FSDP2的架构原理、使用场景及性能优化策略，帮助用户根据实际需求选...
(含代码)利用TensorRT的8位PTQ将Stable Diffusion速度提高 2 倍
专注于人工智能领域的小何尚
03-13 3309
在生成式人工智能时代，拥有优先考虑易用性的推理解决方案至关重要。借助 NVIDIA TensorRT，您可以通过其专有的 8 位量化技术无缝实现高达 2 倍的推理速度加速，同时确保图像质量不受影响，从而实现卓越的用户体验。TensorRT 对平衡速度和质量的承诺凸显了其作为加速 AI 应用程序的领先选择的地位，使您能够轻松交付尖端解决方案。
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值