LLM 参数，显存，Tflops? 训练篇(2)

最新推荐文章于 2025-12-26 21:59:01 发布
原创 最新推荐文章于 2025-12-26 21:59:01 发布 · 779 阅读 · 19 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#人工智能 #深度学习 #自然语言处理

本文深入探讨Transformer模型中的FFN层，分析其计算过程和算力消耗，包括第一层升维和第二层降维的点积运算，以及与注意力层算力的综合。此外，还提到了在NLG任务中softmax层的算力需求，并预告了后续关于显存、中间计算结果和推理算力的内容。

第一篇链接：LLM 参数，显存，Tflops? 训练篇(1) (qq.com)

      第一篇我们讲完了Self-Attention层的算力要求和每一步生成的形状，

图片

      上节课我们讲的红框里的内容，我们继续从下往上看, 两个LN层就别看了也没啥特别多的可学习对象（跟MHA和FFN相比），其实还有什么drop out啥的，因为这玩意都没可学习的参数，所以都忽略，所以我们就看FFN层需要消耗多少算力

      我们之前讲过FFN是干啥的，需要了解的读者请看这个系列：

小周带你读论文-2之"草履虫都能看懂的Transformer老活儿新整"Attention is all you need(1) (qq.com)

最低0.47元/天 解锁文章
周博洋K
关注
LLM - 大模型的 参数量/计算量/激活值/KV Cache 的详细分析 教程
AGI
03-31 924
在大模型中，参数量、计算量、激活值以及 KV Cache 是影响模型性能和资源消耗的关键因素。参数量通常与模型的复杂度成正比。计算量则与模型的前向和反向传播过程密切相关，Transformer 模型的计算量在使用 KV Cache 后会显著减少，因为 KV Cache 可以避免重复计算已经处理过的序列。激活值的显存占用在推理阶段尤为重要，其大小取决于序列长度、批次大小、隐藏层维度等因素，通常会随着批次大小的增加而显著增长。
LLM 参数，显存，Tflops? 训练篇(5）
周博洋的博客
03-02 1170
2-对于QK的矩阵乘和Softmax的计算，需要保留Q和K两个矩阵，都是[B,S,H],所以两个加起来是4BSH bytes的内存占用，Softmax又要保留Q*K的转置，考虑到多头的因素，这块需要2BaS^2的内存占用（这块和前面计算Tflops逻辑类似）5-在Attetion操作的最后，1要保存Wo的输出映射，这一部分和之前的矩阵一样都是2BSH，同时还会做一次dropout的动作，这里的dropoutmask矩阵和Wo相同也为BSH，所以这一步需要占用3BSH bytes的显存。
LLM 参数，显存，Tflops? 训练篇(1)
周博洋的博客
02-16 2010
算力计算是[B,h,S,H']*[H,H],因为h*H'=H，所以化简为[B,S,H]*[H,H], 即BSH^2,形状为[B,S,H](这把就完成了进来啥形状，出来啥形状了)运算量等于[B,h,S,H’]*[B,h,H',S], 运算量为BHS^2(H'和h最后还是合成H，看上边的代码)，形状为[B,h,S,S]即[B,h,S,S]*[B,h,S,H']，计算量 BhS^2H'即BHS^2，计算后的形状为[B,h,S,H']然后进入到QKV的环节，首先是Q*K的转置，除以K的维度开方然后softmax。
​LLM 参数，显存，Tflops? 训练篇(4）
周博洋的博客
03-01 1553
拿我刚才举的那个抬杠的例子，7B的话，你的静态显存占用量，指模型的所有参数被load到显存里，如果以BF16的话，要占据14个G，这一下子想用T4来训练7B的人基本就傻了，我都不跟你谈什么70B，70B要是BF16，静态显存占用就是140G，那现在业界要能装的下的只有AMD 的MI300X（192G）和H200了，这两玩意貌似几乎都没供货.....当然不是，我load 模型参数的核心目的是训练参数的权重，这里就涉及到了第二个也是比较麻烦的概念，训练时的Activation显存占用（下节课讲）
​LLM 参数，显存，Tflops? 训练篇(3)
周博洋的博客
02-25 1275
而我们实际干活的时候，不会像我这么认真算（我这个其实大家能掌握最好，因为后面可以做到不测试的情况下，推算集群化之后的单卡实际TFlops能力，是不是惊为天人，现在不讲,以后讲。之所以乘以GPU的利用率是因为，不太可能把它打满，尤其是多机多卡的时候，受限于通信和显存的问题，比算力本身严重，一般我们认可百分之30到百分之50吧，在多机多卡的环境下。上面的式子是分子，下面的式子是分母，分子分母相除，然后除以3600秒，除以24小时，约等于21.9天，基本上符合原著21天的实际水平。
AI大模型训练相关参数如何估算？有这一篇就够了
python1234567_的博客
10-31 4904
随着大模型时代的到来，模型参数量、训练数据量、计算量等各方面急剧增长。参数规模方面，在过去的几年里，语言模型的参数规模从数亿增长到数千亿，甚至达到万亿级别。例如OpenAI的GPT-3拥有175B参数，而GPT MoE参数规模到达了1.8T；数据量方面，训练一个大模型通常需要达到T级别tokens；另外，由于参数规模和数据量庞大，随之带来的是巨大的计算量。
【LLM学习笔记】第二篇：分布式训练介绍
使者大牙ℂypher的博客
11-04 1077
分布式训练介绍
PyTorch-CUDA镜像助力LLM训练提速300%
weixin_31163455的博客
11-24 592
本文介绍如何通过PyTorch-CUDA官方镜像实现LLM训练的高效加速。该镜像预集成CUDA、cuDNN、NCCL等核心组件，消除环境不一致问题，支持混合精度、多卡分布式训练，显著提升GPU利用率和训练速度，是AI工程化的关键实践。
PyTorch-CUDA环境下LLM训练稳定性实测报告
weixin_36001279的博客
11-24 301
本文基于真实项目经验，深入分析PyTorch与CUDA在LLM训练中的稳定性表现，涵盖环境配置、性能优化及常见坑点。通过实战数据展示cuDNN、NCCL等组件的关键作用，并提供可复用的避坑指南，助力构建高效、稳定的GPU训练系统。
【AI学习-comfyUI学习-第二十三-法线贴图工作流-depth 结构+MiDaS 法线-各个部分学习】
qq_22146161的博客
12-25 887
最近，学习comfyUI，这也是AI的一部分，想将相关学习到的东西尽可能记录下来。不断学习摸索中。
做了一块可以调用百度云语音识别api和tts api的esp32 s3开发板，支持跑ai小智机器人的源码，基于idf5.5.1库编译，分享下
net3m33的专栏
12-25 413
做了一块可以调用百度云语音识别api和语音合成tts接口的esp32 s3开发板，支持跑ai小智机器人的源码，基于idf5.5.1库编译，分享
第N11周：seq2seq翻译实战-Pytorch复现
最新发布
m0_46260522的博客
12-26 288
5.2 注意力解码器（AttnDecoderRNN）7.2 训练迭代主循环。
Q-learning 算法 —— 无模型（model-free）强化学习
一杯水果茶！足矣~
12-25 973
从已知模型到 Model-free 的强化学习转变：Q-Learning 算法，通过详细示例来讲解，理解 Q-table 的更新和贪婪策略
2025国自然资助率12.29%创新低！2026年如何用数据与AI“破局”？
imbackneverdie的博客
12-25 722
这绝非简单的文字堆砌，它内在嵌入了对国自然申报规范的理解，能有效帮你规避常见的“方向偏离”“逻辑混乱”“格式错误”等基础问题，将你从繁琐的框架搭建中解放出来，专注于核心内容的精雕细琢。国自然2025年的资助率降至历史新低的12.29%，数万科研人员面对着更激烈的竞争与更严格的评审标准，对于2026年度的申报者而言，“高效准备，少走弯路”已不是口号，而是生存法则。它不仅告诉你“是什么”，更分析“为什么”和“怎么办”，直接为你的选题方向和立项论证提供坚实的数据支撑。模块，堪称科研人员的“选题外脑”。
企业级 RAG 问答系统开发上线流程分析
hello！
12-22 1426
这个项目流程是一个非常典型的。
打造个人数字大脑：访答知识库深度指南
acbd1994的博客
12-23 803
本地私有知识库是指将个人或组织的知识资料存储在本地设备上，而非云端服务器。这种模式最大的优势在于数据完全由用户掌控，无需担心隐私泄露风险。与传统的云存储知识库相比，本地解决方案在数据安全性和访问速度上具有明显优势。
如果计算agv舵轮角度是否超限，当给定vx vy w时
君君的博客
12-25 407
agv 舵轮 运动控制 运动学模型
毕业项目推荐：90-基于yolov8/yolov5/yolo11的工程车辆检测识别系统（Python+卷积神经网络）
weixin_71667732的博客
12-26 835
本文介绍了一个基于深度学习的工程车辆智能监控系统，采用YOLOv8/YOLOv5/YOLO11算法，并集成SE注意力机制提升检测精度。系统支持图片、视频、摄像头输入的实时检测，具备UI界面，可直观展示检测结果并导出xls格式数据。功能包括单张图片识别、文件夹批量识别、视频逐帧检测、摄像头实时监控以及结果查看与导出。该系统可有效识别多种工程车辆类型，为施工安全提供智能化解决方案。文章提供了完整Python代码和使用指南，方便读者学习和应用。
单细胞拟时序分析：揭示细胞动态发育的基因调控网络
2501_94211109的博客
12-24 963
单细胞拟时序分析是一种前沿计算生物学技术，通过重构单细胞转录组数据的连续动态轨迹，揭示细胞分化、发育等过程的基因调控网络。该技术面临数据稀疏性、高维处理、分支识别等技术挑战，核心算法包括最小生成树、概率图模型和深度学习方法。在发育生物学、疾病机制和再生医学等领域具有重要应用价值。未来发展方向包括多模态数据整合、动态模型构建和空间信息融合，为深入理解细胞动态发育提供新视角。
【开源客服系统推荐】AI-CS：一个开源的智能客服系统
m0_52224307的博客
12-22 359
开源AI客服系统AI-CS推荐 AI-CS是一款开源的智能客服系统，支持多厂商AI模型（如OpenAI、Claude等）接入，实现AI客服与人工客服的协作。核心功能包括实时通信、文件传输、FAQ管理、访客插件集成等，采用Go+Next.js技术栈，具备响应式UI。系统适用于中小企业客服需求、SaaS集成及开发者学习，提供完整的在线演示和开源代码，GitHub地址：https://github.com/2930134478/AI-CS。
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值