【评价指标】FLOPs、MACs(Multiply–Accumulate Operations)、Params

最新推荐文章于 2025-03-05 17:38:23 发布
最新推荐文章于 2025-03-05 17:38:23 发布
阅读量1.2k 收藏 4
点赞数
分类专栏： 评价指标 文章标签： python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/m0_70813473/article/details/131418843
版权
FLOPs是衡量神经网络计算复杂度的指标，表示完成前向传播的浮点运算次数。MACs是乘加累积操作数，约等于FLOPs的一半。降低模型的FLOPs有助于提高运行速度和节省资源。参数量则关乎模型大小，影响计算需求。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

FLOPs

FLOPs（Floating point operations）浮点运算数量，就是计算量，在神经网络领域，通常用来衡量神经网络的计算复杂度，即完成一次前向传播所需要的浮点运算次数。

在神经网络中，每个操作（如矩阵乘法、卷积等）都具有一定的FLOPs值。为了计算模型的总FLOPs，需要对网络中每个操作的FLOPs值进行统计并求和。可以通过工具或代码库自动计算网络的FLOPs值，但需要注意，这些值通常是以理论计算为基础，实际的运行效率可能会受到硬件设备和软件实现的影响。

FLOPs值通常被用作指导模型优化和压缩的重要参考指标，因为在保持准确率不变的情况下，降低模型的FLOPs可以提高模型的运行速度和节省计算资源。

注意区分：FLOPS（Floating Point Operations Per Second）每秒浮点运算次数，是一个衡量硬件速度的指标。

MACs（Multiply–Accumulate Operations）

乘加累积操作数，常常被人们与FLOPs概念混淆实际上1MACs包含一个乘法操作与一个加法操作，大约包含2FLOPs。通常MACs与FLOPs存在一个2倍的关系。

想看细节可以参考这篇

Params

参数量。例如每个滤波器55=25个unit参数和一个bias参数，一共6个滤波器，共(55+1)*6=156个参数。

细节可以看这个，CNN中各层计算量MACC和FLOPs的计算方式

或者看这篇，How fast is my model? 

【图像去噪】基础知识之计算效率 | 计算模型复杂度（MACs，Flops以及单位缩放）和参数量
主要更新底层视觉（去噪、超分等）相关的科研内容，形式为【论文精读】+【论文复现】
03-26 603
本文所用代码来自AKDT源码，作为计算模型复杂度和参数量的标准代码积累。
影响神经网络速度的因素- FLOPs、MAC、并行度以及计算平台
lqq
11-05 1348
影响神经网络速度的四个主要因素分别是 FLOPs（浮点操作数）、MAC（内存访问成本）、并行度以及计算平台。这些因素共同作用，直接影响到神经网络的计算速度和资源需求。
手算神经网络MAC和FLOP
新缸中之脑
08-26 1661
在本文中，我们将深入探讨神经网络背景下的 MAC（乘法累加运算）和 FLOP（浮点运算）概念。通过学习如何使用笔和纸手动计算这些内容，你将对各种网络结构的计算复杂性和效率有基本的了解。这是 colab 笔记本中一个。
MACs和FLOPs
拒绝任何因懒惰而生的省略号
09-13 1万+
目录FLOPsMACs关系使用全连接层卷积层深度分离卷积ReLU层全局池化（常用）：一般池化（不常用）：激活层ReLU/PReLU/ELUSigmoid FLOPs Floating Point Operations: 浮点运算次数，每一个加、减、乘、除操作都算1FLOPs操作，常用来衡量模型计算复杂度。 注意下FLOPS：注意全大写，是floating point operations per second的缩写，意指每秒浮点运算次数，理解为计算速度。是一个衡量硬件性能的指标，两者别弄混。。。 MACs
深度学习——Pytorch模型统计FLOPs，MACs和Params评估参数
qq_40280673的博客
04-29 8796
FLOPs（Floating point operations per second）是指每秒浮点运算次数，MACs （Multiply-Accumulate Operations）是指乘加操作的次数，Params（Parameters）是指模型的参数数量。这三个指标可以用来衡量模型的复杂度，即模型计算量的大小。
MACs (乘加运算次数)和 FLOPs (浮点运算次数)关系，onnx函数计算方式
qq_40962125的博客
11-01 2931
2. 如果乘法和加法都计1 FLOPs,那么 MACs = FLOPs综上,MACs 和 FLOPs 的关系具体取决于计算方式,但更标准的做法是:MACs 和 FLOPs 是一个量级,它们的数值相等或近似相等。1. 如果乘法计2 FLOPs,加法计1 FLOPs,那么 MACs = 2 * FLOPs。之所以网上有人说它们是二倍关系,可能是采用了乘法计2 FLOPs的计算方式。所以,MACs 和 FLOPs 可以看作相等,都是反映模型计算量的指标。但这并不是一个标准的计算方法。
FLOPS, FLOPs and MACs
aidanmo的博客
11-16 1768
FLOPS: Floating Point Operations Per Second, 每秒浮点运算次数，是一个衡量硬件速度的指标 FLOPs: Floating Point Operations, 浮点运算次数，用来衡量模型计算复杂度，常用来做神经网络模型速度的间接衡量标准 MACs: Multiply–Accumulate Operations, 乘加累积操作数，常常被人们与FLOPs概念混淆实际上1MACs包含一个乘法操作与一个加法操作，大约包含2FLOPs。通常MACs与FLOPs存在一个2倍的关
解析计算机体系结构中的MACs实现
tugouxp的专栏
02-17 5348
根据上文中的VHDL代码逻辑可以看出，在每个时钟范围内（程序中是上升沿），进行一次浮点乘法和浮点加法运算），所以，如果用常用的FOPS单位衡量的话，一次MAC对应2次浮点计算。所以，如果我们知道一个设备以MACs频次表示的算力，乘以2就表示他的FOPS算力了。比如VIP 0XEE 型号NPU有576个 MAC,主频跑800M，那么它的以MACs数为单位的算例就是 576*800M=460800M = 0.4608万亿 MAC数，再乘以2就是0.92tfops.
神经网络的计算量(FLOPs)、参数量(Params)、推理时间（FPS）的定义及实现方法
热门推荐
qq_43307074的博客
11-04 5万+
神经网络的计算量(FLOPs)和参数量(Params)的定义及实现方法
PyTorch 打印模型的评价指标（torchstat）
梁小憨憨的博客
02-05 2961
最近看论文发现有些作者会把模型的浮点运算数给展现出来，自己也学习一下，记录下来方便以后查阅。
FLOPS 与 FLOPs 的区别解析
SimpleLearning
03-21 3202
概念不同：FLOPS 表示每秒浮点运算次数，是计算设备的计算性能指标；而 FLOPs 表示模型中的浮点运算操作总数，是模型计算复杂度的指标。应用不同：FLOPS 用于评估计算设备的处理能力和性能；FLOPs 用于衡量模型的计算复杂度和计算量。单位不同：FLOPS 的单位是每秒浮点运算次数（如 TFLOPS、GFLOPS）；FLOPs 的单位是浮点运算操作总数（如 MFLOPs、GFLOPs）。水平有限，有问题随时联系；
乘积累加运算(Multiply Accumulate, MAC)
qq_39444290的博客
01-09 5901
转自：https://www.mobibrw.com/2019/17864 乘积累加运算(英语：MultiplyAccumulate,MAC)是在数字信号处理器或一些微处理器中的特殊运算。实现此运算操作的硬件电路单元，被称为“乘数累加器”。这种运算的操作，是将乘法的乘积结果和累加器A 的值相加，再存入累加器： 若没有使用 MAC 指令，上述的程序可能需要二个指令，但 MAC 指令可以使...
[machine learning] MACS、MACs、FLOPS、FLOPs
最新发布
浮生的博客
03-05 876
MACs/FLOPs表示总的操作数(后缀s可以看成是表示复数)，MACS/FLOPS表示每秒可以执行的操作数(即：MACs per Second/FLOPs per Second)。比如说一个模型的计算复杂度是1 GFLOPs，机器CPU的性能是2 GFLOPS，不考虑其他性能损耗，理想状况下这台机器一秒钟可以推理这个模型两次。假设模型是一个三层的FFN模型，每一层的Neuron数都是1024个，输入维数是4，输出维数是2，求这个模型的MACs。我们也可以简单说这个模型的计算复杂度是。
MACs 和 FLOPs 有什么区别？如何计算？
ncf的博客
10-15 4465
一、MACs 和 FLOPs 有什么区别？ FLOPs is abbreviation of floating operations which includes mul / add / div … etc. MACs stands for multiply–accumulate operation that performs a <- a + (b x c).12 二、如何计算？ 安装thop pip install thop pytorch使用thop：3 from torchvision.mo
概念|FLOPs、FLOPS还是MACs？
weixin_43833206的博客
09-06 1640
如何区分FLOPs、FLOPS还是MACs？
卷积计算量指标: Parameters, MAC, FLOPs
weixin_41032661的博客
02-01 1865
面试中常问的卷积计算量指标 参数量（Parameters) 计算量，乘加次数 （Multiply Accumulate） FLOPs （Floating Point Operations) 涉及标识: Hin， Win ： 输入图片高，宽 Hout， Wout ： 输出图片高，宽 HK， WK ： 卷积核高，宽 Cin ：输入图片特征通道 Cout ： 输出图片特征通道 知识点： 根据Andrew Ng的讲解，重点理解Cout，Cout是根据卷积核的数量来决定的，每个卷积核自身有多少层是根据
深度学习常见指标——FLOPs（搭配代码食用）
weixin_73373302的博客
12-03 2853
首先明确一个概念：FLOPS和FLOPs不一样FLOPS是处理器性能的衡量指标，:“每秒所执行的浮点运算次数”的缩写FLOPs是算法复杂度的衡量指标，“浮点运算次数”的缩写，s代表的是复数FLOPs（Floating point operations）浮点运算次数是衡量算法复杂度的指标（包括加减乘除等所有浮点运算）
神经网络中FLOPs和MACs的计算（基于thop和fvcore.nn）
Chauncey_Wang的博客
06-01 5513
谈谈为啥thop和fvcore.nn统计出来计算量不同
transformer的flops代码
01-08
### 计算Transformer模型的FLOPs 为了计算Transformer模型中的浮点运算次数(FLOPs)，可以利用Python库`thop`来辅助完成这一过程。下面展示了一个具体的代码实例，该实例展示了如何定义一个简单的Transformer模型并计算其FLOPs。 ```python import torch from thop import profile from transformers import BertModel # 定义输入张量尺寸以及加载预训练Bert模型作为例子 input_ids = torch.randint(0, 30000, (1, 512)) model = BertModel.from_pretrained('bert-uncased') # 使用profile函数获取flops参数 macs, params = profile(model, inputs=(input_ids,), verbose=False) print(f"FLOPs: {macs * 2}") # MACs to FLOPs conversion print(f"Number of parameters: {params}") ``` 上述代码片段中，选择了BERT模型作为一个典型的Transformer架构代表来进行分析[^1]。需要注意的是，在实际应用环境中应当替换为具体使用的Transformer变体或其他自定义结构。此外，由于MAC（Multiply-Accumulate Operations）通常被视作一次乘法加法组合操作，因此在最终报告FLOPs数值时进行了两倍处理。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值