模型压缩基础知识-模型的参数量FLOPS VS 模型的体积大小

原创 已于 2023-04-08 23:17:45 修改 · 1.4k 阅读 · 5 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#深度学习模型压缩

于 2023-03-15 14:34:36 首次发布
本文探讨深度学习中模型的参数量与体积大小的关系，指出float32格式参数占据的内存，并计算不同参数量对应的模型体积，如61.5M参数约等于246MB，3.41967MB对应约3.41767M参数。

模型压缩基础知识

一、模型的参数量 VS 模型的体积大小

在深度学习神经网络中，最常见的数据格式是float32，占4个字节（Byte）。类似地，float16，占2个字节。1024个字节为1KB，1024x1024个字节为1MB。那么存储10000个参数需要的内存大小为10000x4 Bytes，约为39KB。存储100万个参数需要的内存大小为39x100/1024MB，约为3.8MB。

    深度学习神经网络的参数量通常是百万级之上的，所以我们可以将3.8MB看作是一个基本单位，即每一百万个数字需要3.8MB。

    注意到，不仅仅是参数存储需要空间，数据本身（例如图像的像素、特征图中的每个元素）也是一个数字，也需要相同的存储空间。

原文链接：https://blog.youkuaiyun.com/suiyingy/article/details/125173843

在这里插入图片描述
计算机用 表示 一个 float32 就会用到 4 个字节 那模型参数量有61.5 M（Million） 个float32 在计算机存储时候模型的体积就是61.5M x 4个字节 = 246 MB 。
在这里插入图片描述

计算机用 表示

了解本专栏 订阅专栏 解锁全文 超级会员免费看
模型压缩中的四大核心技术 —— 量化、剪枝、知识蒸馏和二值化
形上得其象，形下合于数；阴阳自济，玄理自明。
02-09 662
量化核心：降低数值精度，通过缩放因子 (S) 与零点 (Z) 实现线性映射。方法：后训练量化（PTQ）与量化感知训练（QAT）。挑战：精度损失、激活分布处理与硬件支持。技术栈：TensorFlow、PyTorch、TensorRT、TVM 等。案例：MobileNet 量化部署、TensorRT INT8 推理加速。剪枝核心：移除对模型输出贡献较小的参数，通过掩码 (M) 实现结构简化。方法：非结构化剪枝、结构化剪枝及迭代剪枝。挑战：评估参数重要性、剪枝率选择、再训练恢复精度。技术栈。
如何选择YOLOv11模型尺寸（n、s、m、l、x）：不同模型的参数量、计算量及适用场景对比
本博客聚焦 YOLOv11 全流程落地，涵盖架构优化、数据集处理、训练技巧与多场景部署，兼及国产数据库、Java 开发与 AI 模型应用，内容兼顾理论与工程实践，为开发者提供系统干货，助力高效提升技术能力。
06-21 3356
YOLOv11模型提供五种尺寸（nano至extra large），针对不同应用场景优化性能与资源消耗。小型模型（n/s）适合移动和边缘设备，中型（m）平衡性能与资源，大型（l/x）提供最高精度但需更多计算资源。模型差异体现在网络深度、模块配置和特征融合策略上，非简单缩放。选择时需权衡精度、速度和硬件限制，并非越大越好，应考虑任务需求和数据特性。该系列覆盖从嵌入式到云端的全场景目标检测需求。
模型的显存和参数量计算
weixin_49305813的博客
07-28 9265
写在前面：以此记录关于模型显存和参数量的一些理解和计算。 显存 参数的显存占用：只有有参数的层，才会有显存占用。这部分的显存占用和输入无关，模型加载完成之后就会占用。 有参数的层主要包括：卷积、全连接、BatchNorm、Embedding等等 无参数的层主要包括：多数的激活层(Sigmoid/ReLU)、池化层、Dropout等等 具体来说，模型参数数目(不考虑偏置b)： Linear(M->N)：M×N Conv2d(Cin，Cout，K)：Cin×Cout×k×k BatchNorm(N)：2
LLM大模型显存计算
weixin_40777649的博客
01-12 1万+
1b(10亿)个模型参数，约占用4G显存(实际大小：10^9 * 4 / 1024^3 ~= 3.725 GB)，那么LLaMA的参数量为7b，那么加载模型参数需要的显存为：3.725 * 7 ~= 26.075 GB。综上，int8 精度的 LLaMA-6B 模型部分大致需要 6GB+6GB+12GB+1.3GB = 25.3GB 左右。例如，如果显卡具有1280个核心，时钟速度为1400 MHz，每个核心具有两个浮点运算单元，则该显卡的算力为。int8 的 LLaMA-6B，AdamW 需要 6B。
参数量和模型大小的计算方法（LLM）
最新发布
专注最新最热的AI知识学习，以实战方式总结心得。
10-28 890
与训练时相同: 2 bytes per parameter。=== 5. MiniMind实际使用 ===训练时: bfloat16 (2 bytes)模型大小 = 参数量 × 数据类型大小。=== 参数量到模型大小计算 ====== 2. 数据类型大小 ====== 3. 学生模型计算 ====== 4. 教师模型计算 ===参数量: 123,100,000。=== 1. 基本公式 ===参数量: 31,700,000。=== 6. 压缩效果 ===模型大小压缩: 3.9:1。
关于GPU显存占满（即memory usage 很大），但GPU-util很小，导致模型训练很慢
oneself的博客
12-07 1万+
关于GPU显存占满（即memory usage 很大），但GPU-util很小，导致模型训练很慢
模型大小 与参数量计算
2401_85280106的博客
11-19 3271
就是模型的大小，我们一般使用参数量parameter来衡量，注意，它的单位是。来衡量。比如ResNet-152的参数量可以达到60 million =0.0006M。有些时候，modelsize在实际计算时除了包含参数量以外，还包括网络架构信息和优化器信息等。比如存储一个一般的CNN模型(ImageNet训练)需要大于300MB。比如说我有一个模型参数量是1M，在一般的深度学习框架中(比如说PyTorch)，一般是32位存储。32位存储的意思就是1个参数用32个bit来存储。
《大语言模型压缩技术综述》
tongxianchao的博客
04-09 997
大语言模型（LLMs）已成功革新自然语言处理领域，但其庞大的参数量与高昂的计算需求为实际部署带来严峻挑战，尤其在资源受限的场景下。模型压缩技术已成为应对这些挑战的关键研究方向。本文系统综述了面向LLMs的模型压缩方法，涵盖参数量化、权重剪枝和知识蒸馏等核心技术，重点阐释最新研究进展。同时深入探讨评估压缩后LLMs性能的关键基准测试策略与量化指标。本综述旨在为研究者与实践者提供洞见，在提升LLMs运行效率与实际应用价值的同时，为未来技术突破奠定理论基础。
EfficientNet-Lite4轻量级图像分类模型
结合【标签】信息可以深入展开多个关键技术知识点：首先，“轻量级模型”强调的是模型在参数量、计算量和内存占用方面的优化，这类模型通常通过网络剪枝、知识蒸馏、量化感知训练、低秩分解等模型压缩技术实现小型化...
突破性进展！新型AI模型压缩方法可将模型大小减少90%
AIGC应用创新大全的博客
06-02 1197
模型能力与资源消耗的失衡。我们将覆盖从基础概念（剪枝、量化、蒸馏）到前沿技术（动态压缩、混合精度优化）的全链路知识，并通过实战案例展示如何将一个1GB的模型压缩至100MB以下，同时保持98%以上的原始性能。本文将按照“问题背景→核心概念→突破性方法→实战案例→应用场景”的逻辑展开，重点拆解新型压缩方法的三大创新点（动态剪枝、混合量化、自适应蒸馏），并通过Python代码演示关键步骤。模型大小：模型参数（如神经网络的权重矩阵）占用的存储空间（单位：MB/GB）；参数量。
模型大小与参数量的对应关系
feynman233的博客
11-16 9406
float32是4个字节，因此模型大小字节数=参数量×4
【深度学习】参数量、模型大小、显存
热门推荐
叶子的博客
06-08 1万+
【深度学习】参数量、模型大小、显存对于一个深度学习神经网络来说，其通常包含很多卷积层，用于不断提取目标的特征，或对目标进行最终定位或者分类。 1 数据存储精度与存储空间 在深度学习神经网络中，最常见的数据格式是float32，占4个字节（Byte）。类似地，float16，占2个字节。1024个字节为1KB，1024x1024个字节为1MB。那么存储10000个参数需要的内存大小为10000x4 Bytes，约为39KB。存储100万个参数需要的内存大小为39x100/......
深度学习-参数量&模型大小&理论计算量
weixin_40826634的博客
12-03 8448
参数量&模型大小&理论计算量
tensorflow实现计算模型大小和FLOPS！以及与.ckpt和weight文件大小转换说明！Model‘ object has no attribute ‘get_operations‘！
weixin_41146894的博客
03-15 3832
一、计算参数量和FOPS代码 本人觉得下面这个代码出错率少，因为沾到.pb文件，有些时候你总是要出点错，比如说： AssertionError: output is not in graph 而且你去把节点打印出来后，把输出节点换上，还是错，不可思议。 算了，你直接把你的模型输入，下面的框框！ # 模型开始处×××××××××××××××××××××××××××× # ***** (1) Create Graph ***** input_data = tf.Variable(ini
【有啥问啥】13B参数量的大模型是个啥？参数量与模型大小是什么关系？
Chauvin的博客
08-07 3909
在深度学习的领域，特别是涉及大规模神经网络模型的时候，经常会听到诸如“这个模型有上百亿个参数”的说法。那么，参数量的单位“B”究竟是什么意思？参数量和模型大小之间有什么关系呢？此外，还有哪些其他描述模型的参数？这些参数之间的关系又是如何的呢？本文将详细探讨这些问题，并通过实际案例进行说明。
数据压缩的常用手段以及方法
lovely_yoshino的博客
06-24 9704
之前我们在《》中提到了，我们可以通过一些算法层面来完成数据的压缩，而其实更简单或者说更直接的方法就是使用half这种形式来完成数据压缩。
大模型的模型文件有多大？
winfield821的博客
03-28 2447
大模型的模型文件大小主要取决于。
深度学习模型压缩与加速
weixin_30401605的博客
08-13 1118
简介 将深度学习模型应用于自动驾驶的感知任务上，模型预测结果的准确性和实时性是两个重要指标。一方面，为了确保准确可靠的感知结果，我们会希望选择多个准确性尽可能高的模型并行执行，从而在完成多种感知任务的同时，提供一定的冗余度，但这不可避免的意味着更高的计算量和资源消耗。另一方面，为了确保车辆在各种突发情况下都能及时响应，我们会要求感知模块的执行速度必须与自动驾驶场景的车速相匹配，这...
评论 1
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

土豆娃potato

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值