[计算机视觉]-从ShuffleNet V2来看，为什么有些FLOPs小的模型在实际推理过程中所花费的时间更长/速度更慢？

模型优化与推理速度：FLOPs之外的因素分析
最新推荐文章于 2025-10-29 15:43:03 发布
原创 最新推荐文章于 2025-10-29 15:43:03 发布 · 4.1k 阅读 · 14 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文探讨了FLOPs作为计算量指标在衡量模型推理速度时的局限性，指出MAC（内存访问成本）、底层算子优化、并行度和Element-wise操作对实际速度的影响。 ShuffleNet v2通过实验提出四个设计原则，强调在输入输出通道相同时MAC最小、分组卷积的分组数、支路数量和Element-wise操作对速度的权衡。实验结果显示，合理的结构设计和操作选择对模型速度至关重要。

惯例资源

论文地址

1.简介

相对于传统卷积方式，目前如分组卷积，空洞卷积，深度可分离卷积等，这些新型的卷积方式可以有效的降低模型的FLOPs，然而在实际设备上，由于各种各样的优化计算操作，导致计算量并不能准确地衡量模型的速度，换言之，相同的FLOPs会有不同的推理速度。

具体来说，如在GPU运算的一些操作，底层都是调用cuda算子，而这些算子的操作方式，都是由开发人员优化后的，可能并没有针对具体的如深度可分离卷积进行优化;或在arm架构的cpu上，本质也是调用cpu的算子，可能并无相关优化。

2. 四个设计原则

shuffleNet_v2，指出了四个影响模型实际推理速度的操作，并在对速度和精度进行权衡后提出了shufflenet_v2架构。

FLOPs是理论上的计算量，我们可以把它看为是一种间接的衡量指标，与直接的衡量标准(速度)还是有差异的。

为什么这样说,FLOPs不能作为直接衡量标准？

2.1忽视了MAC

主要原因可能在于FLOPs只考虑了计算量却 忽视了MAC(memory access cost),即内存访问的时间成本。例如分组卷积，其使得底层使用的一些优化实现算法由于分组后实现性能更低，从而导致，分组数越大，时间成本越高。另一个是并行度，同样FLOPs下，高并行度的模型速度快于低并行度的模型。

2.2底层算子优化不同

另一个原因就是不同的算子(如调用cuda、cudnn)对每个具体的操作优化是不同的。举例来说按照FLOPs计算公式:

F L O P s = H ∗ W ∗ C i n ∗ K ∗ K ∗ C o u t FLOPs = H*W*Cin*K*K*Cout FLOP

最低0.47元/天 解锁文章
计算机视觉模型优化技巧：如何提升推理速度3倍以上
AI天才研究院
05-13 1038
移动端设备（手机/嵌入式芯片）算力有限，需在100ms内完成高清图像推理数据中心需支持万级并发，单模型推理延迟需控制在50ms以下无人机/机器人等实时系统要求亚毫秒级响应本文聚焦模型推理速度优化轻量级网络架构设计（如MobileNet/ShuffleNet）模型压缩技术（剪枝、量化、知识蒸馏）硬件加速与推理引擎优化（TensorRT/NCNN/MNN）计算图优化与内存管理策略章节核心内容2-3章解析推理速度关键影响因素，建立计算量/内存/并行化的数学模型4-5章。
ShuffleNet v2算法笔记
AI之路
07-31 3万+
论文：ShuffleNet V2: Practical Guidelines for Ecient CNN Architecture Design 论文链接：https://pan.baidu.com/s/1so7aD3hLKO-0PB8h4HWliw 这篇是ECCV2018关于模型加速和压缩的文章，是之前ShuffleNet的升级版。这篇文章的观点和实验都比较新颖，看完还是有不少收获的，特来...
FLOPS和参数量比较小的模型，推理时间反而较长？
傲笑风的博客
06-21 3707
两个模型 A 和 B，A 模型的 FLOPS 和参数量均比 B 模型少一半，但 B 模型的推理速度却稍微比 A 模型快一些。出现这种情况由几种情况出现： 一、运行平台的不同，这个很明显，在大多数情况下 GPU 平台下运行比 CPU快 二、在同一运行平台，不同的深度学习框架也有些差异（如pytorch,tensorflow等） 三、同一平台、同一框架、并行化程度影响较大，并行程度高的推理较快 四、以上三种情况均相同情况下，有以下两种影响因素： （1） 对内存的访问频率，访问内存频率高的推理时间较长 （2）同步
CVPR 即插即用 | PConv：重新定义高效卷积，一个让模型“跑”得更快、更省的新范式
最新发布
AImokuai的博客
10-29 1021
本文提出了一种新型卷积算子PConv和高速网络FasterNet。核心创新在于：1）突破传统单纯优化FLOPs的思路，提出提升每秒浮点运算次数(FLOPS)才是加速关键；2）设计部分卷积(PConv)，仅处理1/4输入通道，大幅减少计算量和内存访问；3）构建简洁的FasterNet架构，在多个硬件平台实现顶尖推理速度。PConv通过利用通道冗余性，结合后续PWConv形成T形计算模式，比DWConv更具硬件效率。实验表明该方法在各类视觉任务中兼具速度和精度优势，是轻量级网络设计的理想选择。
模型越小，推理越快？想多了。
idol24的博客
09-28 3756
‍‍点击上方“机器学习与生成对抗网络”，关注星标获取有趣、好玩的前沿干货！‍作者 田子宸@知乎来源 https://zhuanlan.zhihu.com/p/411522457编辑 极...
【卷积神经网络系列】十六、ShuffleNet-V2
traveller的博客
09-27 1428
ShuffleNet-V2
神经网络的计算量(FLOPs)、参数量(Params)、推理时间（FPS）的定义及实现方法
热门推荐
qq_43307074的博客
11-04 5万+
神经网络的计算量(FLOPs)和参数量(Params)的定义及实现方法
13_旷视轻量化网络--ShuffleNet V2
https://github.com/foxpup11?tab=repositories
06-30 2486
https://www.bilibili.com/video/BV1d3411Y7Ms/?spm_id_from=333.999.0.0&vd_source=7dace3632125a1ef7fd32c285eb2fbac
在Pytorch中计算自己模型的FLOPs方式
09-18
在PyTorch中，我们可以使用第三方库thop（又名torchprofile）来计算自定义模型的FLOPs，以便更好地理解和优化模型的性能。 首先，让我们详细了解一下如何安装和使用thop库。安装thop非常简单，只需要在命令行或终端...
ShuffleNet V2: Practical Guidelines for Efficient CNN Architecture Design
12-03
Accordingly, a new architecture is presented, called ShuffleNet V2. Comprehensive ablation experiments verify that our model is the state- of-the-art in terms of speed and accuracy tradeoff.
ShuffleNet v2算法详解
stu_shanghui的博客
10-20 1082
论文地址：https://arxiv.org/pdf/1807.11164.pdf ShuffleNet v1的升级版，文中提供了如何建立weights-light网络的四条准则，并做实验进行了详细的分析，并依照这四点建议，在v1的基础上修改ShuffleNet block 先看图对比shuffleNet v2的效果。对比了GPU和ARM平台下的速度和准确率的分布情况。作者提出：单一的FLOP...
ShuffleNet 系列(2): ShuffleNet v2 理论讲解
@bangbang的博客
07-17 4526
这篇论文比较硬核，提出了不少新的思想，推荐大家可以看看论文原文。模型的计算复杂度不能只看FLOPs,还需要参考一些其他的指标作者提出了4条如何设计高效网络的准则基于该准则提出了新的block设置FLOPS和FLOPsFLOPS全大写，指每秒浮点运算次数，可以理解为计算的速度，是衡量硬件性能的一个指标(硬件)FLOPss小写，指浮点运算数，理解为计算量，可以用来衡量算法/模型的复杂度，（模型）在论文中常用。...
轻量化网络：ShuffleNet V2
人工智能技术学习与分享
08-04 3342
Guideline 1-4: ShuffleNet V2 疑问： ShuffleNet V2: Practical Guidelines for Efficient CNN Architecture Design 由Face++及清华的研究者共同发表，已被ECCV-2018收录 论文下载地址：https://pan.baidu.com/s/1so7aD3hLKO-0PB...
快速理解ShuffleNetV2（结合代码）
Orange_sparkle的博客
09-20 2432
这篇文章强烈建议大家自己看一遍，里面有很详细的实验，还有作者提出的高效网络准则等等，非常好的一篇文章。ShuffleNetv2主要从模型的复杂度不能只看FLOPs，参数量的大小并不能完全反映推理速度的快慢讲起，然后提出了四条设计高效网络的准则，进而提出新的block设计ShuffleNetv2 block。
shuffleNet系列
yzy的博客
08-02 3659
目录 分组卷积 分组卷积的矛盾——计算量 分组卷积的矛盾——特征通信 channel shuffle ShuffleNet V1 ShuffleNet基本单元 ShuffleNet网络结构 对比实验 ShuffleNet V2 设计理念 网络结构 对比实验 分组卷积 Group convolution是将输入层的不同特征图进行分组，然后采用不同的卷积核再对各个组进行卷积，这样会降低卷积的计算量。因为一般的卷积都是在所有的输入特征图上做卷积，可以说是全通道卷积，这是一种通道密集连.
【Roofline 推理速度】影响深度学习模型推理速度的因素及相关基础知识
计算机视觉方面的点点滴滴，欢迎一起讨论
05-15 9293
文章目录1 问题分析2 计算平台角度分析2.1 算力 π2.2 带宽 β\betaβ2.2 计算强度上限 ImaxI_{max}Imax​3 模型自身的性能评价指标3.1 计算量与参数量3.2 访存量3.3 模型的计算强度III3.4 模型的理论性能PPP3.5 内存占用4 Roof-line Model4.1 用来解决什么问题4.2 Roof-line是什么4.2.1 带宽瓶颈区域 Memory-Bound4.2.2 计算瓶颈区域 Compute-Bound4.3 Roof-line Model对比分析V
深度学习CV方向学习笔记6 —— 深度可分离卷积
qq_33909645的博客
10-14 1701
个人学习神经网络相关知识的学习记录，本帖记录的是关于深度可分离卷积的知识，包含了其算法过程、分析参数计算量以及其运行效率分析等。 学习资料来源于各博主的帖子、知乎、b站等，在个人理解的基础上加以总结，可能存在理解有误之处，欢迎指正！
【模型速度】关于深度学习模型推理速度你真的理解了吗？
欢迎来到斑斓的博客，有问题私信交流
11-25 1635
模型推理速度至关重要，除计算量FLOPs和参数量Params，还请一定关注访存量QPS。
【Deep Learning】计算PyTorch模型的FLOPs
pangpd的博客
09-10 1万+
1. 衡量深度学习模型重量级的指标 参数量： CNN: 一个卷积核的参数 = kkCin+1 一个卷积层的参数 = (一个卷积核的参数)卷积核数目=kkCinCout+Cout FLOPS: 注意全大写，是floating point operations per second的缩写，意指每秒浮点运算次数，理解为计算速度。是一个衡量硬件性能的指标。 FLOPs: 注意s小写，是floating point operations的缩写（s表复数），意指浮点运算数，理解为计算量。可以用来衡量算法/模型的复杂度。
计算模型参数量、总推理时间和平均推理时间、FLOPs
10-01
<think>首先，用户的问题是关于如何计算深度学习模型的参数量、总推理时间、平均推理时间和FLOPs。我需要参考提供的引用内容来构建回答： - 引用[1]：定义了FLOPs、Params等术语。Params是参数数量，FLOPs是浮点运算次数。 - 引用[2]：展示了在PyTorch中使用thop库来计算模型的FLOPs和参数量的例子。还提到模型平均推理时间可以通过类似方法计算。 用户指定了四个具体指标：模型参数量、总推理时间、平均推理时间和FLOPs。 关键点： 1. **模型参数量 (Params)** ：这是模型中所有可学习参数的数量，比如权重和偏差。 2. **FLOPs** ：浮点运算次数，衡量模型的计算复杂度。 3. **总推理时间 (Total Inference Time)** ：模型处理所有输入数据的总时间。 4. **平均推理时间 (Average Inference Time)** ：模型处理单个样本的平均时间。 从引用[2]，我看到如何使用thop.profile来计算FLOPs和Params。对于推理时间，需要实际运行推理并计时。 在PyTorch中，计算这些的步骤： - **参数量**：可以使用torchsummary或手动计算，但thop.profile更方便。 - **FLOPs**：使用thop.profile。 - **推理时间**：需要实际运行模型并测量时间。平均推理时间通常通过多次运行取平均。 系统级指令： - 所有行内数学表达式使用$...$格式。 - 独立公式使用$$...$$格式并单独成段。 - LaTeX语法正确。 - 使用中文回答。 - 生成相关问题。 - 引用段落末尾添加引用标识。 回答结构： 1. **解释每个指标**：简要定义参数量、FLOPs、总推理时间和平均推理时间。 2. **如何计算**：给出Python代码示例，使用PyTorch和thop库。 - 安装thop：pip install thop - 计算Params和FLOPs：使用profile函数。 - 计算推理时间：使用time模块测量推理时间。 3. **代码展示**：像示例中一样，提供清晰的代码块。 4. **生成相关问题**：在最后添加相关问题。 引用标识：在引用站内内容时添加[^1]或[^2]。用户提供的引用中已经有[^1]和[^2]，所以我需要在相关部分添加它们。 用户说“上述引用仅供参考”，意思是这些引用不是直接需求，但要参考上次问题和回答。用户上一次问题是关于计算这些指标的，所以我可以直接回答。 现在，构建回答： - 开头解释关键术语。 - 然后分步骤说明计算方法。 - 提供代码示例。 - 最后生成相关问题。 计算推理时间的方法： - 总推理时间：对于整个数据集，运行推理并累计时间。 - 平均推理时间：通常是通过多次运行单个样本取平均。 在代码中： - 使用time.time()或torch.cuda.EventTimer（如果使用GPU）来测量时间。 - 对于平均时间，运行多个样本并取平均。 完整代码模板： ```python import torch import torchvision from thop import profile import time # 加载模型 model = torchvision.models.resnet18() model.eval() # 设置为评估模式 # 创建一个输入示例 input = torch.randn(1, 3, 224, 224) # 计算参数量和FLOPs flops, params = profile(model, inputs=(input,)) print("FLOPs:", flops) print("Params:", params) # 计算平均推理时间 batch_size = 1 num_iterations = 100 # 多次运行取平均 total_time = 0 # 预热（可选） for _ in range(10): _ = model(input) # 测量时间 for _ in range(num_iterations): start_time = time.time() output = model(input) end_time = time.time() total_time += end_time - start_time average_time = total_time / num_iterations total_time_for_dataset = ... # 需要知道数据集大小，但通常用户自己计算 print("Average Inference Time per sample:", average_time) print("Total Inference Time for all samples:", None) # 用户需根据数据集计算 ``` 对于总推理时间，它取决于数据集大小，所以我应该在回答中说明如何计算：总时间 = 平均时间 * 样本数。 独立公式：如果有数学公式，比如FLOPs的计算公式，但我认为这里主要是使用库。 在解释FLOPs时，可以简单提到它代表浮点运算次数。 现在，生成相关问题： 1. 如何减少模型的FLOPs以提高效率？ 2. 推理时间受哪些因素影响？ 3. 是否有工具可视化模型的参数量和计算量？ 参考系统指令，回答使用中文。 最终回答结构： - 解释每个指标。 - 详细说明计算方法。 - 提供代码示例。 - 相关问题。 </think>### 如何计算模型参数量、总推理时间、平均推理时间和FLOPs 在深度学习模型评估中，计算模型的参数量（Params）、总推理时间、平均推理时间（Average Inference Time）和FLOPs是关键步骤。FLOPs衡量模型的计算复杂度，参数量反映模型大小，而推理时间评估实际部署性能。以下基于PyTorch框架，使用Python实现这些指标的计算方法。计算过程分为四个部分： 1. **模型参数量 (Params)**：模型中所有可学习参数（如权重和偏置）的数量总和，单位为个（count）。 2. **FLOPs（浮点运算次数）**：模型完成一次前向传播所需的浮点运算次数，单位为次（operations）。 3. **平均推理时间（Average Inference Time）**：模型处理单个输入样本的平均耗时，单位为秒（seconds）。通过多次运行取平均来减少随机误差。 4. **总推理时间（Total Inference Time）**：模型处理整个数据集的累计耗时，计算公式为： $$ \text{总推理时间} = \text{平均推理时间} \times \text{样本总数} $$ 单位为秒（seconds）。 以下实现参考了PyTorch和第三方库`thop`（用于计算FLOPs和参数量），以及Python内置的`time`模块计时[^1][^2]。 #### 实现步骤 1. 安装依赖库： ```bash pip install torch torchvision thop # 安装PyTorch、计算机视觉模型库和thop计算库 ``` 2. Python代码示例（以ResNet-18模型为例）： ```python import torch import torchvision.models as models from thop import profile # 用于计算FLOPs和参数量 import time # 加载模型并设置为评估模式 model = models.resnet18(pretrained=False) # 示例模型 model.eval() # 禁用dropout和batch norm的training模式 # 创建随机输入数据（示例维度：1个样本，3通道，224x224分辨率） input_tensor = torch.randn(1, 3, 224, 224) # 1. 计算模型参数量和FLOPs flops, params = profile(model, inputs=(input_tensor,)) print(f"模型参数量（Params）: {params}") # 输出参数数量 print(f"FLOPs: {flops}") # 输出浮点运算次数 # 2. 计算平均推理时间 num_iterations = 100 # 运行次数，取平均以减少噪声 total_time = 0.0 # 预热：运行几次以避免冷启动影响 for _ in range(10): _ = model(input_tensor) # 测量推理时间 for _ in range(num_iterations): start_time = time.time() # 开始计时 output = model(input_tensor) # 执行模型推理 end_time = time.time() # 结束计时 total_time += (end_time - start_time) # 累计耗时 average_time = total_time / num_iterations print(f"平均推理时间: {average_time:.6f} 秒/样本") # 3. 计算总推理时间（假设数据集大小） dataset_size = 1000 # 示例数据集样本数 total_inference_time = average_time * dataset_size print(f"总推理时间（{dataset_size}个样本）: {total_inference_time:.4f} 秒") ``` #### 关键说明 - **FLOPs计算**：`thop.profile`函数模拟模型前向传播，统计所有浮点运算（如矩阵乘法和加法），结果通常以亿次（GFLOPs）表示[^1][^2]。如果需要更详细的层级分析，可使用工具如`torchsummary`。 - **推理时间测量**：平均推理时间通过多次运行取平均来消除系统波动。总推理时间则依赖于数据集大小（需用户指定）。如果使用GPU，建议添加`torch.cuda.synchronize()`确保准确计时。 - **注意事项**：FLOPs与硬件无关，而推理时间受硬件（CPU/GPU）和软件优化（如CUDA）影响[^1]。实际部署中，还可用TensorRT或ONNX进一步优化推理速度。 #### 相关问题 1. 如何减少模型的FLOPs以提高计算效率？ 2. 推理时间受哪些硬件和软件因素影响？ 3. 是否有工具可视化模型的参数量和计算量分布？ [^1]: 神经网络的计算量(FLOPs)、参数量(Params)、推理时间（FPS）的定义及实现方法。 [^2]: Pytorch中的网络相关参数展示和模型的flops计算以及推理时间计算。
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值