CNN 模型所需的计算力（flops）和参数（parameters）数量是怎么计算的

最新推荐文章于 2024-12-29 14:51:42 发布
最新推荐文章于 2024-12-29 14:51:42 发布
阅读量1.7k 收藏 5
点赞数
分类专栏： 网络模型 深度学习卷积网络架构 文章标签： 深度学习 算法 卷积
原文链接：https://www.zhihu.com/question/65305385
版权

看到有人对flops有疑惑，先捋清这个概念。

FLOPS：注意全大写，是floating point operations per second的缩写，意指每秒浮点运算次数，理解为计算速度。是一个衡量硬件性能的指标。

FLOPs：注意s小写，是floating point operations的缩写（s表复数），意指浮点运算数，理解为计算量。可以用来衡量算法/模型的复杂度。

网上打字很容易全小写，造成混淆，本问题针对模型，应指的是FLOPs。

each MAC contains one multiplication and one addition.

————————————————————————————————————————

描述一个深度学习框架/模型，除了它的精度，通常用Forward Pass计算量和参数个数（#Parameters）来描述复杂度

前者描述了所需的计算力

后者描述了所需的内存

1、深度学习框架FLOPs的概念（即：浮点运算数量；也可以用MAC表示:each MAC contains one multiplication and one addition.）https://github.com/sovrasov/flops-counter.pytorch/issues/16

paper里比较流行的单位是GFLOPs：1 GFLOPs = 10^{9} FLOPs （即：10亿次浮点计算）

2、深度学习框架FLOPs的组成

1、卷积运算Conv

用以下动图中直观的解释：

image大小：5*5

卷积核大小：3*3

举例：一次3*3的卷积（求右图矩阵的一个元素的值）所需的运算量：（3*3）个乘法+（3*3-1）各加法 =17

得到3*3大小的特征图尺寸：17*9 = 153

1）bn

2）linear

3）上采样

4）poolings

5）relu

Conv占的比重最大，此外他和输入图像的大小也有关系

而#Parameters和图像大小没有关系

3、计算Forward Pass计算量和参数个数（#Parameters）的代码（基于pytorch）

https://github.com/Lyken17/pytorch-OpCounter

https://github.com/sovrasov/flops-counter.pytorch

4、常用框架的复杂度

CNN模型复杂度（FLOPs、MAC）、参数量与运行速度
jacke121的专栏
04-13 5566
CNN模型复杂度（FLOPs、MAC）、参数量与运行速度 先转载一下，有空再来整理 文章目录 0. 模型复杂度简介 1. 模型复杂度之一：模型参数量的计算方法 卷积层参数量计算 全连接层参数量计算 2. 模型复杂度之二：模型计算量的计算方法 2.1 FLOPs 2.1.1 注意FLOPs与FLOPS的区别 2.1.2 卷积层FLOPs的计算 2.1.3 全连接层FLOPs的计算 2.2 MAC、MACC、MADD 2.2.1 MACC概念及其与FLOPs的关系 2.2.2 全连接层MACC计算 2.2.
计算机视觉 | 面试题：13、CNN网络各种层的FLOPs和参数量paras计算
Mrrunsen的博客
09-09 466
FLOPs 这里先注意一下FLOPs的写法，不要弄混了： FLOPS(全大写)：是floating point operations per second的缩写，意指每秒浮点运算次数，理解为计算速度，是一个衡量硬件性能的指标。 FLOPs(s小写)：，是floating point operations的缩写（s表复数），意指浮点运算数，理解为计算量，可以用来衡量算法/模型的复杂度，也就是我们这里要讨论的。 标准卷积层的FLOPs 考虑bias：(2∗Cint∗k2)∗Cout∗H∗W(2*C_{int
模型算力需求估算
形上得其象，形下合于数；阴阳自济，玄理自明。
12-29 4566
（Billion Parameters，简称B）和训练/推理的计算任务复杂度，结合硬件计算能力（例如每秒浮点运算次数，FLOPS）来估算。以下是详细的方法和公式说明，以及实际的计算示例。算力需求的估算依赖于参数量、模型架构及硬件性能，结合训练/推理场景的特定要求来计算。通过上述公式和示例，我们可以定量分析不同任务的算力需求，并合理配置硬件资源以优化运行效率。结论：推理任务相对较轻，单台H100可以在30秒内完成此任务。推理算力需求一般远低于训练，因为只需要执行前向传播。，可以将训练时间缩短到约。
[转载]计算 CNN 模型所需的计算力（flops）和参数（parameters）数量
u014410989的专栏
07-30 1135
计算FLOPs的代码或包 github上的开源项目：flops-counter.pytorch 下载地址：https://github.com/sovrasov/flops-counter.pytorch 使用说明：https://www.zhihu.com/question/65305385 还有另一个类似的github开源项目：pytorch-OpCounter 下载地址：https://g...
如何用Pytorch计算模型参数量Params和计算量Flops查看框架结构等
如何心安理得的在老板眼皮下摸鱼
05-13 4万+
计算模型参数量 1.parameters法 通过遍历模型的parameters获取结构以及参数： model = 你自己的模型，eg:CNN() ResNet() SegNet().... params = list(model.parameters()) k = 0 for i in params: l = 1 print("该层的结构：" + str(list(i.size()))) for j in i.siz
【附带大模型训练数据】大模型系统优化：怎么计算模型所需的算力、内存带宽、内存容量和通信数据量？
Debroon
12-21 9367
Pile 基于RedPajama进行清洗去重后得到的高质量数据集 6270亿Token：https://huggingface.co/datasets/cerebras/SlimPajama-627B/tree/main/train。中文翻译Alpaca：https://github.com/hikariming/alpaca_chinese_dataset https://github.com/carbonz0/alpaca-chinese-dataset。
CNN 模型的参数（parameters）数量和浮点运算数量（FLOPs）是怎么计算的
求真、务实
11-26 9244
CNN 模型所需的计算力（flops）和参数（parameters）数量是怎么计算的？ #1 首先说明一下概念 1、FLOPS FLOPS：注意全大写，是floating point operations per second的缩写，意指每秒浮点运算次数，理解为计算速度（。是一个衡量硬件性能的指标。 2、FLOPs FLOPs：注意s小写，是floating point operations的缩写（s表复数），意指浮点运算数，理解为计算量。可以用来衡量算法/模型的复杂度。 #FLOPS FLOPS：即“每秒
CNN网络各种层的FLOPs和参数量paras计算
YeeKo的博客
05-04 4057
目录FLOPs标准卷积层的FLOPs深度可分离卷积的FLOPs池化层的FLOPS全局池化一般池化全连接层的FLOPs激活层的FLOPsReLUsigmoid参数量卷积层的参数量深度可分离卷积的参数量池化层的参数量全连接层的参数量参考资料 FLOPs 这里先注意一下FLOPs的写法，不要弄混了： FLOPS(全大写)：是floating point operations per second的缩写...
深度学习中parameters个数和FLOPS计算（以CNN中经典的AlexNet网络结构为例）
Never-Giveup的博客
01-30 2万+
面试时遇到过计算神经网路的参数个数以及FLOPS计算，当时对FLOPS计算比较蒙圈，这两天又看到了美团发布的技术博客对深度学习计算量的解决方案中又出现了FLOPS相关概念，所以通过查阅好多大佬的博客把FLOPS的计算问题理解清楚。 前言 深度学习的计算量 上表列举了，ImageNet图像识别中常见算法的模型大小以及单张图片一次训练（One Pass）所需要的计算量。 自2012年，Hinton的...
Transformer大模型在训练过程中所需的计算量
qq_35215756的博客
08-22 1490
许多关于Transformer语言模型的基本且重要的信息都可以用相当简单的方式计算出来。不幸的是，这些计算公式在NLP社区中并不广为人知。本文档的目的是收集这些公式，以及相关的知识，包括它们的来源和重要性。**注意：**本文主要关注训练成本，而训练成本主要受VRAM的限制。
模型计算力（flops）和参数（parameters）
qingsong1001的专栏
06-02 4109
模型计算力（flops）和参数（parameters） https://zhuanlan.zhihu.com/p/144938518 提纲： Ø 参数量 Ø FLOPS\FLOPs\GFLOPs Ø 浮点运算和参数量的区别 Ø 不能绝对的用FLOPs作为速度衡量的原因——MAC\并行度\平台 参数量： CNN: 一个卷积核的参数 = k*k*Cin+1 一个卷积层的参数 = (一个卷积核的参数)*卷积核数目=k*k*Cin*Cout+Cout FLOPS:...
pytorch network知识点四: 模型参数Parameter和浮点数FLOPs计算方法统计, GFLOPs =? GMacs
科研学习笔记！
08-04 3882
模型的参数量和浮点计算量方法统计, ptflops, torchinfo, and thop; ptflops和 torchinfo 方法不同之处，FLOPs
CNN模型所需的计算力和参数数量
qq_36783816的博客
11-15 1136
Tech blog CNN中parameters和FLOPs计算 分享一个FLOPs计算神器 CNN 模型所需的计算力（flops）和参数（parameters）数量是怎么计算的？ Tools 两行代码统计模型参数量与FLOPs，这个PyTorch小工具值得一试 https://github.com/Swall0w/torchstat ...
深度学习中模型计算量(FLOPs)和参数量(Params)的理解以及四种计算方法总结
热门推荐
紫芝的博客
07-15 13万+
深度学习中模型参数量和计算量的理解与计算１　首先什么是计算量，什么是参数量２　如何计算：参数量，计算量３　对于换算计算量４　对于各个经典网络：５　计算量与参数量对于硬件要求6 计算量(FLOPs)和参数量(Params)第一步：安装模块第二步：计算参考资料 接下来要分别概述以下内容： １　首先什么是参数量，什么是计算量 ２　如何计算　参数量，如何统计　计算量 ３　换算参数量，把他换算成我们常用的单位，比如:mb ４　对于各个经典网络，论述他们是计算量大还是参数两，有什么好处 ５　计算量，参数量分别对显存，芯
计算CNN的模型的算力FLOPS
xidaoliang的博客
03-05 1万+
YOLOv3中的有一输入日志显示了BFLOPS，代表了这一卷积层的算力具体有多少。下面是我输入的前面38层的日志; layerfilters size input output 0 conv 32 3 x 3 / 1 416 x 416 x 3 -> 416 x 416 x 32 0.299 BFLOPs 1 conv 64 3 x 3 ...
深度学习 计算模型中每层参数的个数和FLOPs
迷若烟雨的专栏
05-17 7605
FLOPS：全大写，是floating point operations per second的缩写，意指每秒浮点运算次数，理解为计算速度。是一个衡量硬件性能的指标。 FLOPs：s小写，是floating point operations的缩写（s表复数），意指浮点运算数，理解为计算量。可以用来衡量算法/模型的复杂度。 对于普通卷积层来说：FLOPs=2HW(CinK^2+1)Cout
衡量神经网络的常见参数 FLOPs与参数数量计算方法总结
m0_37929824的博客
05-12 6013
FLOPs衡量神将网络中前向传播的运算次数，FLOPs越小，则计算速度越快。 参数数量衡量神经网络中所包含参数的数量，参数数量越小，模型体积越小，更容易部署，二者计算方法如下所示： 参数数量更容易计算，只需要衡量，神经网络中有多少个待定参数即可，以卷积神经网络为例，假设卷积核大小为k × k，输入通道为 i，输出通道为o，输出图像尺寸为t ×t,则： 每进行一次卷积操作，或一个卷积层，需要的参数数量为: k×k×i×o + o 后面的加是加上bias，可看下图conv1为例： 注意 conv1的卷积核大小
【pytorch】深度学习所需算力估算：flops及模型参数量
种一棵树最好的时间是十年前，其次是现在
03-22 1万+
因为8GB显卡的实际可用显存约为7500MB左右，可以满足模型在最大推理batchsize下的显存需求，同时还有一定的余量，可以保证模型能够正常运行。在部署时，需要考虑芯片的显存，是因为显存的大小限制了模型的最大批次大小。如果模型的批次大小超过了显存的大小，那么就无法将整个批次的数据同时加载到显存中，需要分批处理，这会增加模型推理的时间。这是因为模型的参数需要存储在显存中，而在计算过程中，也会涉及到一些中间结果的存储和计算，所以需要足够的显存来支持模型的运行。一般来说，批量大小越大，需要的计算能力就越大。
CNN中计算量FLOPs的计算
wmzjzwlzs的专栏
05-05 1103
转自：CNN中计算量FLOPs的计算 - outthinker - 博客园 1、FLOPs的概念：全称是floating point operations per second，意指每秒浮点运算次数，即用来衡量硬件的计算性能；在CNN中用来指浮点运算次数； 2、计算过程： 如上，根据上图来计算第一层卷积层的FLOPs： 对于某个卷积层，它的FLOPs数量为：，其中表示该层参数的数目。 这里AlexNet网络第一卷积层为例，它的FLOPs数目为：。 ...
fasterrcnn计算参数量和计算量代码
最新发布
04-03
### Faster R-CNN 参数量和 FLOPs 的计算 为了计算 Faster R-CNN 模型的参数量和 FLOPs，可以利用 PyTorch 提供的相关工具以及第三方库 `torchstat` 或者 `thop` 来完成这一任务。以下是具体的代码实现： #### 使用 torchstat 计算 Faster R-CNN 的参数量和 FLOPs `torchstat` 是一种专门用于统计神经网络模型参数量、FLOPs 和其他指标的工具[^2]。可以通过安装该库并调用其功能来获取所需数据。 ```bash pip install torchstat ``` 下面是基于 Faster R-CNN 的具体代码示例： ```python import torchvision.models as models from torchstat import stat # 加载预定义的 Faster R-CNN 模型 (以 ResNet-50 backbone 为例) model = models.detection.fasterrcnn_resnet50_fpn(pretrained=True) # 输入张量尺寸设置为 CxHxW 形式, 假设输入图片大小为 3x640x640 input_size = (3, 640, 640) # 调用 stat 函数分析模型 stat(model, input_size) ``` 上述代码会输出模型的总参数数量（Parameters）、每秒浮点运算次数（FLOPs）以及其他相关信息。 --- #### 使用 thop 库手动计算 FLOPs 和参数量 另一种方法是通过 `thop` 工具包来进行更灵活的操作。此方式允许开发者自定义哪些部分参与计算，并支持逐层查看资源消耗情况。 ```bash pip install thop ``` 下面是一个完整的代码片段展示如何使用 `thop` 对 Faster R-CNN 进行评估： ```python import torch from thop import profile from torchvision.models.detection import fasterrcnn_resnet50_fpn # 初始化 Faster R-CNN 模型实例 device = 'cuda' if torch.cuda.is_available() else 'cpu' faster_rcnn_model = fasterrcnn_resnet50_fpn(pretrained=True).to(device) # 定义随机输入样本作为测试依据 dummy_input = torch.randn(1, 3, 640, 640, device=device) # 执行 profile 方法得到 MACs 及 Parameters 数值 macs, params = profile(faster_rcnn_model, inputs=(dummy_input,)) print(f"FLOPs: {macs * 2}") # 将乘法与加法视为一次操作故需乘二 print(f"Number of parameters: {params}") ``` 这里需要注意的是，由于某些特殊模块可能无法被完全解析，因此实际运行时可能会遇到一些警告提示；不过总体来说不会影响最终结果的有效性。 --- ### 关于 Faster R-CNN 结构特点及其优化建议 Faster R-CNN 整合了多个子组件，包括但不限于特征提取器（Feature Extractor）、区域提议网络（RPN）、边界框回归器（Bounding Box Regressor）以及分类器（Classifier）。这种端到端的设计显著提升了目标检测效率[^3]。然而，在处理小物体或者复杂场景下仍可能存在不足之处。针对这些问题可考虑引入额外机制比如 Feature Pyramid Network(FPN)[^5]进一步增强表现力。 ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值