卷积神经网络CNN中FLOPs的概念和计算

最新推荐文章于 2025-04-29 01:17:27 发布
原创 最新推荐文章于 2025-04-29 01:17:27 发布 · 7.1k 阅读 · 11 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文介绍了FLOPs，其全称是每秒浮点运算次数，是衡量硬件计算性能的指标，在CNN中指浮点运算次数。还给出了AlexNet中某卷积层FLOPs的计算示例，计算量级为1e8，同时提醒不同博客计算有差异，可查找文献深入了解。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

1.什么是FLOPs？
FLOPs全称：floating point operation per second
意思是每秒浮点运算次数，理解为计算速度，是一个用来衡量硬件计算性能的指标。
在CNN中用来指浮点运算次数；

2.如何计算？
在AlexNet中某一次卷积过程中，
输入特征图大小：[C_in, H_in, W_in] = 3 * 224 * 224
卷积核大小：[C_in, K_H, K_W] = 3 * 11 * 11
输出特征图大小：[C_out, H_out, W_out] = 96 * 55 * 55
该卷积层的FLOPs量级为多少？
FLOPs：
[(C_in * K_H * K_W) * C_out + C_out] * (H_out * W_out)
即[(3 * 11 * 11) * 96 + 96 ] * (55 * 55) = 105705600
量级为1e8
(
注：可以将上试的C_out提取出来。
num_paras = (C_in * K_H * K_W) * C_out + C_out
= C_out * [(C_in * K_H * K_W) + 1 ]
num_paras也就是该层参数的数目
）

我也是根据别人的博客参考的，每个大佬回答的都有差异，有的考虑了偏置，有的没有考虑偏置什么的，各种博客各种回答，在此仅做参考，详细深入请查找文献。

参考：
https://baike.baidu.com/item/FLOPS/989494?fr=aladdin

https://www.cnblogs.com/zf-blog/p/10875782.html

https://blog.youkuaiyun.com/weixin_41770169/article/details/94001345

https://www.zhihu.com/question/65305385

仅用来个人学习和分享，如若侵权，留言立删。

卷积神经网络（如caffe）个参数的定义和FLOP计算量的计算
本无风何以掇
07-24 7882
刚开始看神经网，结合很多文章，做了一些总结，写下来也方便后面查看。有不足的地方，希望多多批评指正。 1.卷积的数学推导 先从卷积的数学推导说起，卷积的数学表达就是，即是两个变量在某范围内相乘后求和的结果。如果卷积的变量是序列x(n)和h(n)，则卷积的结果又可以变成离散的方式： 从公式上看，描述了f（x）和一个经过反折和偏移的g（x）的乘子项的累加过程。基于这一点的数学意义，这两个函数zai...
卷积神经网络的FLOPs和参数量的计算
longrootchen的博客
08-27 972
文章目录1. 计算公式2. 开源库 1. 计算公式 ICLR 2017 一篇 NVIDIA 的 paper 在 APPENDIX A.1 中给出了比较详细的计算公式（公式 11，公式 12）；然鹅原文中公式 11 可能有误，HHH 和 WWW 应为 height and width of the output feature map，而不是 of the input feature map。 对应讲解可以参考知乎 chen liu 的回答。 2. 开源库 用 pytorch 搭建的模型有一些库可以得到 F
面试宝典笔记：卷积计算过程中的FLOPs
pink369的博客
05-10 2125
模型的运算次数，可用 FLOPs衡量，也就是浮点运算次数（FLoating-point OPerations），表征的是模型的时间复杂度。模型空间复杂度通过Parameters反映，即模型的参数量。 最早是在2017年ICLR会议上由英伟达公司提出FLOPs的计算：从这张图中可以看出，随着模型层数不断加深，相应的flops增大，时间复杂度提高，但模型的验证集的错误率在不断减小。因此我们希望在模型加深获得更高精度的前提下尽可能减少模型的时间复杂度，加快模型的训练和预测时间。 单个卷积核的时间复杂度 M为每.
CNN FLOPs数计算
Do not mess it up
12-24 2781
注意：1MAC=2FLOPs 1次MAC=2 Flops吧，卷积乘法+卷积乘法自后所有数相加（所有数-1，如果有bias正好+1抵消）   例子：resnet18算flops，只计算卷积，没考虑relu，bn，add这些 conv1：112*112*3*64*7*7 conv2_x：56*56*64*64*9+56*56*64*64*9+56*56*64*64 conv3_x：28...
CNN中计算量FLOPs的计算
wmzjzwlzs的专栏
05-05 1124
转自：CNN中计算量FLOPs的计算 - outthinker - 博客园 1、FLOPs的概念：全称是floating point operations per second，意指每秒浮点运算次数，即用来衡量硬件的计算性能；在CNN中用来指浮点运算次数； 2、计算过程： 如上，根据上图来计算第一层卷积层的FLOPs： 对于某个卷积层，它的FLOPs数量为：，其中表示该层参数的数目。 这里AlexNet网络第一卷积层为例，它的FLOPs数目为：。 ...
【指标原理】CNN和ViT的FLOPs、参数量计算
cjy_colorful0806的博客
03-14 3829
FLOPs（Floating Point Operations）是浮点运算次数的缩写，其计算包括所有的浮点数加法、减法、乘法和除法运算。在深度学习领域，FLOPs特别用来量化一个神经网络模型进行一次前向传播所需的浮点运算数量，这对于评估模型的计算效率和资源需求非常有用。
深度学习基石：卷积神经网络（CNN）与图像识别
weixin_69882801的博客
02-15 797
在传统全连接神经网络中，每个神经元都与相邻层的所有神经元连接。以MNIST数据集（28×28像素）为例，输入层需784个神经元，若第一隐藏层有1000个神经元，参数规模将达784×1000=784,000。这种结构存在两大核心问题：参数爆炸问题对于高分辨率图像（如1024×1024的RGB图像），输入层参数达3,145,728个。空间信息破坏空间邻域像素间的关联性（如边缘连续性、纹理方向性）被完全忽略。
卷积神经网络（Convolutional Neural Network, CNN）中的通道（Channels）
最新发布
Rhett_Butler0922的博客
04-29 1046
卷积层：通过卷积核数量改变通道数（），提取新特征。池化层：保持通道数不变，缩小空间尺寸。批归一化：归一化每个通道的特征分布，通道数不变。1x1卷积：调整通道数，融合通道信息。残差连接：确保通道数一致以进行相加，可能需要1x1卷积调整。
卷积神经网络CNN
qq_53643542的博客
03-21 1387
卷积网络CNN的基本学习卷积神经网络 卷积神经网络 神经网络： 神经元的结构：线性函数，非线性的激活函数（改变数据的线性关系，并且将数据映射在某个范围内，防止数据过大溢出） 全连接：每个神经元都与下一个神经元相连 卷积核：filter过滤器，卷积核大小指定小于输入图象尺寸，卷积核越大，可提前的输入特征越复杂 卷积神经网络CNN参数 卷积核大小 填充padding，（f-1）/2 步长stride 卷积输出大小（n-f+2p）/s+1 通道：channel（RGB） 池化pooling：降维 dropout：
基于verilog实现CNN卷积神经网络，网络权值参数通过matlab仿真得到coe文件进行FPGA的调用-源码
09-30
卷积神经网络（CNN，Convolutional Neural Network）是一种深度学习模型，广泛应用于图像识别、计算机视觉和自然语言处理等领域。在硬件实现方面，FPGA（Field-Programmable Gate Array）由于其可编程性和高性能，常...
深度学习基础——卷积神经网络的感受野、参数量、计算量
weixin_39753819的博客
04-20 1122
在卷积神经网络中，感受野是指一个神经元对输入图像的感知范围。换句话说，它代表了一个神经元能够接收到的输入图像的区域大小。感受野的大小决定了神经元对输入图像的理解能力和特征提取能力。本文介绍了卷积神经网络的三个重要指标：感受野、参数量和计算量。通过定义和计算方法，可以更好地理解和评估深度学习模型的性能和复杂度。通过示例代码的实现和可视化展示，读者可以更直观地了解这些指标的计算过程和意义。在实际应用中，合理设计和优化网络结构可以有效提高模型的性能和效率。
cnn中关于FLOPS的理解及计算
tbl1234567的博客
10-23 2772
相关概念 FLOPS：注意全大写，是floating point operations per second的缩写，指每秒浮点运算次数，理解为计算速度。是一个衡量硬件性能的指标。 FLOPs：注意s小写，是floating point operations的缩写（s表复数），指浮点运算数，理解为计算量。可以用来衡量算法/模型的复杂度。 MACs：乘加运算（Multiplication and Accumulation），相当于2次浮点运算，硬件支持乘加指令可加快计算速度。 OP的计算 1. conv 计算
卷积网络参数量和计算量(FLOPs)的计算公式及代码
热门推荐
Brikie的博客
01-15 1万+
我们经常用参数量和浮点计算数FLOPs来衡量卷积网络的复杂度。下面推导其公式并在pytorch中实现，以二维卷积Conv2d为例。
卷积层计算Flops常见的方法总结
weixin_43490422的博客
06-14 1130
【深度学习】关于CNN网络的FLOPs的计算
Shwan_ma的博客
12-09 1万+
在评估一个CNN网络的计算复杂度时，浮点数运算（float point operation）是一个常用的衡量指标。 在常规的计算中，通常不考虑非线性函数的计算量（the nonlinearity），对于卷积操作： FLOPs=2∗(HWCinK2+1)Cout=2∗(HWK2CinCout+Cout)FLOPs = 2*(HWC_{in}K^{2}+1)C_{out} \\ =2*(HWK^{2}...
神经网络层的FLOPs计算
qq_38318634的博客
06-10 6894
神经网络各个层FLOPs的计算 • FLOPS 注意全部大写 是floating point of per second的缩写，意指每秒浮点运算次数。可以理解为计算速度，用来衡量硬件的性能。 • FLOPs 是floating point of operations的缩写，是浮点运算次数，理解为计算量，可以用来衡量算法/模型复杂度。 定义在这篇论文有： 这篇论文PRUNING CONVOLUTIONAL NEURAL NETWORKS FOR RESOURCE EFFICIENT INFERENCE所描述
CNN模型中卷积的一些计算--参数量，FLOPs
ZSH12345678900的博客
08-06 587
feature map经卷积后的大小： conv: h−f+2ps+1\frac{h-f+2p}{s}+1sh−f+2p​+1 —fff: kernel size; ppp: padding; sss: stride dilated conv: h+2p−(f−1)×ds+1\frac{h+2p-(f-1)×d}{s}+1sh+2p−(f−1)×d​+1 — ddd: dilated pooling: h−fs+1\frac{h-f}{s}+1sh−f​+1 receptive filed计算（从前往后
CNN模型所需的计算力（flops）以及常见层的flops分析
山中有石为玉
06-28 6982
1、flops解释 Flops: floating point operations per second的缩写，指的是每秒浮点运算次数，理解为计算速度。是一个衡量硬件性能的指标。 FLOPs:可以用来衡量算法/模型的复杂度。其实也就是模型进行参数运算的次数。 对于一个卷积层，假设其大小为h*w*c*n (其中 c为 input channel,n为#output channel)，输出的f...
计算机视觉 | 面试题：13、CNN网络各种层的FLOPs和参数量paras计算
Mrrunsen的博客
09-09 476
FLOPs 这里先注意一下FLOPs的写法，不要弄混了： FLOPS(全大写)：是floating point operations per second的缩写，意指每秒浮点运算次数，理解为计算速度，是一个衡量硬件性能的指标。 FLOPs(s小写)：，是floating point operations的缩写（s表复数），意指浮点运算数，理解为计算量，可以用来衡量算法/模型的复杂度，也就是我们这里要讨论的。 标准卷积层的FLOPs 考虑bias：(2∗Cint∗k2)∗Cout∗H∗W(2*C_{int
卷积神经网络的卷积过程怎么算
03-28
### 卷积神经网络中卷积运算的计算方法 #### 1. 基本概念 卷积操作是一维或多维数组之间的线性代数运算，通常用于提取输入数据的空间特征。在卷积神经网络 (Convolutional Neural Network, CNN) 中，卷积核（滤波器）滑动覆盖整个输入张量，并执行逐元素乘法和累加的操作[^3]。 #### 2. 输出张量大小的计算公式 假设输入张量的尺寸为 \(H \times W\) （高度 × 宽度），卷积核的尺寸为 \(K_h \times K_w\) ，步幅（stride）为 \(S_h \times S_w\) ，填充（padding）为 \(P_t, P_b, P_l, P_r\) （分别表示顶部、底部、左侧和右侧的填充）。那么输出张量的高度和宽度可以通过以下公式计算： \[ O_h = \frac{H + P_t + P_b - K_h}{S_h} + 1 \] \[ O_w = \frac{W + P_l + P_r - K_w}{S_w} + 1 \] 其中，\(O_h\) 和 \(O_w\) 表示输出张量的高度和宽度[^4]。 #### 3. 参数数量的计算 对于单通道输入的情况，卷积层的参数数量由卷积核的数量决定。如果卷积核的尺寸为 \(K_h \times K_w\) ，并且该层有 \(N_f\) 个过滤器，则总参数数量为： \[ N_{params} = N_f \cdot (K_h \cdot K_w + 1) \] 这里额外加上 1 是因为每个卷积核都有一个偏置项[^1]。 #### 4. Flops 的计算 浮点运算次数（Floating Point Operations Per Second, FLOPs）衡量的是每秒完成的浮点运算数目。对于一次完整的前向传播，FLOPs 可以通过以下方式估算： \[ FLOPs = O_h \cdot O_w \cdot C_i \cdot K_h \cdot K_w \cdot C_o \] 其中，\(C_i\) 是输入通道数，\(C_o\) 是输出通道数。 #### 5. 感受野的计算 感受野定义了当前节点所能看到的原始输入图像的最大范围。初始情况下，第一层的感受野等于卷积核的大小。随着网络加深，每一层的感受野会逐渐增大。具体而言，第 \(l\) 层的感受野可递归地表示为： \[ R(l) = R(l-1) + (K_h - 1) \cdot S^{l-1} \] 其中，\(S\) 是步幅，\(K_h\) 是卷积核的高度。 #### 示例代码 以下是 Python 实现的一个简单例子，展示如何手动计算卷积后的输出形状以及参数数量： ```python def calculate_output_size(input_height, input_width, kernel_height, kernel_width, padding_top=0, padding_bottom=0, padding_left=0, padding_right=0, stride_height=1, stride_width=1): output_height = ((input_height + padding_top + padding_bottom - kernel_height) / stride_height) + 1 output_width = ((input_width + padding_left + padding_right - kernel_width) / stride_width) + 1 return int(output_height), int(output_width) def calculate_parameters(kernel_height, kernel_width, num_filters, bias=True): params_per_filter = kernel_height * kernel_width total_params = num_filters * params_per_filter if bias: total_params += num_filters return total_params # 输入参数 input_height = 32 input_width = 32 kernel_height = 3 kernel_width = 3 num_filters = 64 padding_top = 1 padding_bottom = 1 padding_left = 1 padding_right = 1 stride_height = 1 stride_width = 1 output_shape = calculate_output_size( input_height, input_width, kernel_height, kernel_width, padding_top, padding_bottom, padding_left, padding_right, stride_height, stride_width ) total_params = calculate_parameters(kernel_height, kernel_width, num_filters) print(f"Output Shape: {output_shape}") # 输出形状 print(f"Total Parameters: {total_params}") # 总参数数量 ``` #### 结论 上述内容涵盖了卷积神经网络中卷积运算的核心计算方法及其相关公式的推导过程。这些理论基础有助于理解并设计高效的卷积神经网络架构。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

机器不学习我学习

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值