自然语言处理:第八十二章 大模型如何估算显存

最新推荐文章于 2025-03-10 19:52:07 发布
最新推荐文章于 2025-03-10 19:52:07 发布
阅读量982 收藏 28
点赞数 31
CC 4.0 BY-SA版权
分类专栏： 自然语言处理 文章标签： 自然语言处理 人工智能 python nlp 神经网络 深度学习 chatgpt
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/victor_manches/article/details/144591978

本人项目地址大全：Victor94-king/NLP__ManVictor: 优快云 of ManVictor


写在前面: 笔者更新不易，希望走过路过点个关注和赞，笔芯!!!

写在前面: 笔者更新不易，希望走过路过点个关注和赞，笔芯!!!

写在前面: 笔者更新不易，希望走过路过点个关注和赞，笔芯!!!


在实际工作中，经常有人问，7B、14B或70B的模型需要多大的显存才能推理？如果微调他们又需要多大的显存呢？为了回答这个问题整理一份训练或推理需要显存的计算方式。如果大家对具体细节不感兴趣，可以直接参考经验法则评估推理或训练所需要的资源。更简单的方式可以通过这个工具或者huggface官网计算推理/训练需要的显存工具在线评估。

数据精度

开始介绍之前，先说一个重要的概念——数据精度。数据精度指的是信息表示的精细程度，在计算机中是由数据类型和其位数决定的。如果想要计算显存，从“原子”层面来看，就需要知道我们的使用数据的精度，因为精度代表了数据存储的方式，决定了一个数据占多少bit。 目前，精度主要有以下几种：

  • 4 Bytes: FP32 / float32 / 32-bit
  • 2 Bytes: FP16 / float16 / bfloat16 / 16-bit
  • 1 Byte: int8 / 8-bit
  • 0.5 Bytes: int4 / 4-bi
最低0.47元/天 解锁文章
大模型长对话中上下文无法承载全部历史，如何压缩或提取重点
大模型大数据攻城狮的专栏
05-31 569
如果说截断和滑动窗口是“硬性”压缩，那摘要生成技术就显得“软”多了，也更接近于智能化的解决方案。它的思路是：不直接丢弃历史，而是通过自然语言处理（NLP）技术，把冗长的对话记录浓缩成一段简短的摘要，保留核心信息。这样既能大幅减少token数量，又不至于丢失关键内容。这种方法通常会借助预训练模型，比如BART或T5，它们擅长从长文本中提取重点内容。
大模型训练与推理真正需要多少 GPU？(公式含python计算代码)
iCloudEnd的博客
05-23 1611
大型语言模型彻底改变了 NLP 领域，使语言翻译、文本摘要、问答等应用成为可能。这些模型包含数百万甚至数十亿个参数，这些参数是在使用大量数据进行训练时学习的。然而，运行这些模型需要大量的计算资源。在本文中，我们将深入研究运行法学硕士所需的计算要求，探讨影响其复杂性的因素以及对硬件和软件开发人员的影响。您对训练和运行模型所需的计算资源感兴趣吗？请允许我更深入地研究细节👇🏼。
如何估算LLM推理和训练所需的GPU内存？
u012374012的专栏
08-27 1308
在本文中，我们介绍的评估方法，都是基于Transformer架构推算的，该评估方法不适合Transformer以外的其他体系结构。同时，目前存在大量的框架、模型和优化技术，估计运行大型语言模型的确切内存可能很困难。然而，本文可作为估计执行 LLM 推理和训练所需内存资源的起点。
大模型训练内存预估计算方法
junjunzai123的博客
02-05 3241
不过，在实际应用中，硬盘等存储设备的制造商通常按照1GB=1000MB，1MB=1000KB，1KB=1000B的进制来计算容量，这就导致在操作系统中查看存储设备容量时，显示的容量会略小于按照1024进制计算的结果。参数（2字节） + 梯度（2字节） + 动量（2字节） + 方差（2字节） = 8字节/参数。B = Billion（十亿）, 因此，671B模型指拥有6710亿参数的模型。- 1GB=1024MB（兆字节）- 1MB=1024KB（千字节）- 1KB=1024B（字节）每个参数占用 2字节。
LLM大模型训练/推理的显卡内存需求计算
新缸中之脑
09-23 2846
无论你是从头开始训练 LLM、对其进行微调还是部署现有模型，选择合适的 GPU 对成本和效率都至关重要。在这篇博客中，我们将详细介绍使用单个和多个 GPU 以及不同的优化器和批处理大小进行 LLM 训练和推理时 GPU 要求的所有信息。计算机处理器由多个决定性电路组成，每个电路都可以处于关闭或打开状态。就内存而言，这两种状态由 0 或 1 或位表示。一组八位称为一个字节。1 个字节可以表示零（00000000）和 255（11111111）之间的数字，或 28（等于 256 个不同位置）。
LLM 大语言模型显存消耗估计与计算
weixin_42823298的博客
07-24 2096
这个工具的计算的结果，针对代码加入到Transformers中的模型，计算结果有参考价值。针对本地模型，计算可能会不准确。这个工具可以做什么？如何使用？此工具如何设置？什么情况下需要设置？处理来自第三方的自定义配置Timm是什么？是huggingface的开发库，主要面向图像处理模型此工具的计算值与实际运行时的差异有多大？造成差异的原因有那些？本文使用Wanda方法，已在Github上开源**源码：**https://github.com/locuslab/wanda环境配置。
[NLP]LLM 训练时GPU显存耗用量估计
摩登都市天空---专栏
08-12 2万+
32位存储的意思就是1个参数用32个bit来存储。那么这个拥有1M参数量的模型所需要的存储空间的大小即为：1M * 32 bit = 32Mb = 1M * 4Byte = 4MB。现在的quantization技术就是减少参数量所占的位数：比如我用16位存储，那么：所需要的存储空间的大小即为：1M * 16 bit = 16Mb = 2MB。GPT-2含有1.5B个参数，如果用fp16格式，只需要1.5G*2Byte=3GB显存, 但是模型状态实际上需要耗费1.5B*16=24GB.
自然语言处理:第五十八章 如何从头训练大语言模型: A simple technical report(转载)
victor_manches的博客
11-04 1089
大模型时代，倒不是看谁代码写的好了，只有涉猎广泛，有训练经验，能进行Infra的debug，肯认真做数据，才是王道。所以我觉得眼下最有价值的文章，还得看大厂技术报告。
大模型面试千问
谢谢大家的关注
04-18 1179
一、baichuan-7B篇你了解baichuan-7B解构么？介绍一下？baichuan-7B 如何 收集原始数据并 构建 训练数据？baichuan-7B 如何 提高 训练稳定性和吞吐？二、baichuan-13B篇相比于 baichuan-7B，baichuan-13B 的 特点体现在哪里？如何 对 baichuan-13B 进行推理和部署？如何 对 baichuan-13B 进行微调？三、baichuan-53B篇。
DeepSpeed超大规模模型训练工具
吴建明wujianming_110117
09-28 3147
DeepSpeed超大规模模型训练工具 2021年 2 月份发布了 DeepSpeed。这是一个开源深度学习训练优化库，包含的一个新的显存优化技术—— ZeRO（零冗余优化器），通过扩大规模，提升速度，控制成本，提升可用性，极大地推进了大模型训练能力。DeepSpeed 已经帮助研究人员，开发了图灵自然语言生成模型( Turing-NLG)，在发表时，为世界上最大的语言模型（拥有 170 亿参数），有着最佳的精度。在2021年 5 月份发布了 ZeRO-2——支持有着 2000 亿参数的模型训练，与最新技术
大模型项目落地时，该如何估算模型所需GPU算力资源
kcarly的专栏
06-22 4879
大模型项目落地时，该如何估算模型所需GPU算力资源。在大模型项目落地前期沟通时，对于算力估算和采购方案许多小伙伴不太了解，在此对相关的算力估算和选择进行一些经验总结。
TensorFlow相关组件的安装
AAI666666的博客
01-11 2881
TensorFlow相关组件的安装
开源大模型训练及推理所需显卡成本必读：也看大模型参数与显卡大小的大致映射策略
热门推荐
Johntill的博客
09-01 2万+
随着各厂商相继发布大型模型，排行榜变化频繁，新旧交替，呈现出一片繁荣景象。有些技术爱好者也开始心痒难耐，萌生了构建一个庞大模型并进行训练的想法。每天都能看到各个厂家推出内测版本，这让人不禁思考：为何不在本地环境尝试一番呢？然而，当前手头仅有一块性能有限的老破小GPU显卡，这就引发了一个问题：如何在这样的条件下成功运行模型？
LLM - 训练与推理过程中的 GPU 算力评估
BITDDD小栈
10-31 1万+
LLM 训练、推理流程中 GPU 算力的计算。
模型训练和推理过程中GPU显存都被哪些部分占用了
weixin_42254289的博客
08-01 717
模型训练和推理过程中GPU显存都被哪些部分占用了
大模型训练和推理所需的显存计算
最新发布
qq_45943646的博客
03-10 1274
单层激活值显存：约2.29 GB全模型激活值显存：约91.6 GB推理阶段，所需要的显存：推理阶段显存 = 模型参数显存 + KV Cache显存 + 激活值显存KV Cache显存 = 批次大小 × 模型层数 × 序列长度 × (键矩阵大小 + 值矩阵大小) × 2字节单层KV Cache显存 = 1 × 序列长度 × 隐藏层维度 × 2= 20,971,520字节≈ 20 MB总KV Cache显存 = 单层KV Cache显存 × 模型层数≈ 800 MB。
大模型推理显存需求
强化学习曾小健
06-27 5270
根据官方说明，Model Memory Calculator提供的结果与实际显存需求之间的误差通常在50MB以内（例如，对于bert-base-cased模型，实际运行需要的显存为413.68MB，而工具估算的结果为413.18MB）。Memory Calculator是由HuggingFace的Accelerate团队开发的在线工具，用户只需输入HuggingFace平台上的模型链接，工具便能够迅速计算出该模型在运行过程中所需的显存大小，包括进行推理操作以及采用Adam算法进行训练时的显存需求。
LLM大模型显存计算
weixin_40777649的博客
01-12 9276
1b(10亿)个模型参数，约占用4G显存(实际大小：10^9 * 4 / 1024^3 ~= 3.725 GB)，那么LLaMA的参数量为7b，那么加载模型参数需要的显存为：3.725 * 7 ~= 26.075 GB。综上，int8 精度的 LLaMA-6B 模型部分大致需要 6GB+6GB+12GB+1.3GB = 25.3GB 左右。例如，如果显卡具有1280个核心，时钟速度为1400 MHz，每个核心具有两个浮点运算单元，则该显卡的算力为。int8 的 LLaMA-6B，AdamW 需要 6B。
【大模型学习】快速下载大模型权重和评估大模型占用显存
cjy_colorful0806的博客
08-07 1077
首先，我们需要设置环境变量以使用镜像站点加速下载。这里repo_id可以直接在Hugging Face官网上复制得到：local_dir就是保存在自己本地的文件夹，force_download就是支持断点续传，避免中途因为网络断了，导致要重新下载。此外，我们可以通过和参数允许或者忽略某些文件以支持断点续传和正则匹配，因为大模型的权重一般是分成了好几个包，如果同时下载可能会导致网速变慢，所以我们可以设置这个参数，选择先下载一部分的包。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

曼城周杰伦

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值