Pytorch中计算自己模型的FLOPs(profile(),clever_format())

原创 已于 2023-03-28 10:59:45 修改 · 1.8k 阅读 · 7 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#pytorch #深度学习 #人工智能

于 2023-03-27 14:41:39 首次发布
FLOPS是衡量硬件每秒浮点运算次数的指标，而FLOPs用于表示模型的计算复杂度。MACs代表乘积累加操作，每个MAC相当于一次FLOPs。文章介绍了如何使用thop库来计算模型如ResNet50的FLOPs，并提供了自定义计算规则的方法，以提高输出结果的可读性。

提到计算量必然涉及FLOPS, FLOPs和MACs，并不是同样的意思，切忌混淆。

FLOPS：Floating Point Operations Per Second，每秒浮点运算次数，是一个衡量硬件计算性能的指标。

FLOPs：Floating Point Operations，浮点运算次数，常用来衡量模型的计算复杂度，即计算量。（大多数论文会在表格中给出模型的FLOPs指标。不过，该指标与实际速度并不完全正相关，我自己测也是这样，所以也有一些论文会给FPS或者1/FPS即单图片推理时间。）

显然，FLOPS和FLOPs不是一回事，FLOPS的积分可以理解为等于FLOPs。

MACs：Multiply–Accumulate Operations，1 MAC = 1次加法+1次乘法操作。

因为，每次运算就等于1次FLOPs，所以，近似地，从数值上看我们有

在这里插入图片描述

安装thop

pip install thop

基础用法

以查看resnet50的FLOPs为例

from torchvision.models import resnet50
from thop import
最低0.47元/天 解锁文章
Pytorch 计算参数量与计算量Flops
jacke121的专栏
06-08 1万+
获取网络模型的每一层参数量与计算量（Flops）———Pytorch 一、前言 在现在AI各种技术需要luo地的时期，网络模型大小能够满足嵌入式平台极为重要，不仅仅需要看模型效果，也要看模型的计算量与参数，所以在评估模型的时候就要分析网络的参数量与计算量； 二、推荐pytorch工具 1、ptflops 安装： pip3 install --upgrade git+https://github.com/sovrasov/flops-counter....
Pytorch 中计算Flops和Params
weixin_55406683的博客
03-17 643
统计模型Flops 和 Params
在Pytorch中计算自己模型的FLOPs方式
09-18
今天小编就为大家分享一篇在Pytorch中计算自己模型的FLOPs方式，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
使用thop计算参数和FLOPs时的疑问
百年孤独百年的博客
05-09 1978
使用thop计算参数时的疑问 x = x.view(-1, 32 * 8 * 8)和x = x.view(x.size(0), -1)区别是什么 input_shape = (3, 224, 224)这个张量是什么意思 为什么summary计算时没有批次大小 input_tensor = torch.randn(1, *input_shape).to(device)这句代码什么意思 flops, params = profile(net, inputs=(input_tensor,))这句话什么意思 为什么
PyTorch Profiler使用：性能分析与瓶颈定位
最新发布
gitblog_00380的博客
09-19 495
PyTorch Profiler（性能分析器）是PyTorch官方提供的性能分析工具，用于在模型训练和推理过程中收集关键性能指标。它能帮助开发者识别计算瓶颈、优化资源使用，并通过可视化工具直观展示模型执行过程。与传统性能分析工具相比，PyTorch Profiler深度集成PyTorch框架，可精准捕获算子级别的性能数据，支持CPU、GPU等多设备分析。 ### 1.1 核心功能 | 功能 |...
PyTorch thop包计算模型Params和FLOPs
关于我的学习记录
12-26 1454
PyTorch thop包计算模型Params和FLOPs
Pytorch中计算自己模型的FLOPs | thop.profile() 方法 | yolov5s 网络模型参数量、计算量统计
热门推荐
专注于AI领域前沿技术学习与分享：目标检测、图像修复、超分重建、AI工程化
02-07 3万+
Pytorch中计算自己模型的FLOPs pytorch-OpCounter GitHub 主页： https://github.com/Lyken17/pytorch-OpCounter pip install thop 运行该项目评估代码 python benchmark/evaluate_famous_models.py 运行输出如下 Model Params(M) FLOPs(G)
网络模型的参数量和FLOPs的计算 Pytorch
知识搬运者
11-07 1万+
如果把torchstat包中的一行程序进行一点点改动，那么这个包可以用来统计全连接神经网络的参数量和计算量。当然手动计算全连接神经网络的参数量和计算量也很快 =_=。进入torchstat源代码之后，如下图所示，注释掉圈红的地方，就可以用torchstat包统计全连接神经网络的参数量和计算量了。包，帮助我们统计模型的parameters和FLOPs。如果不修改这个包里面的一些代码，那么这个包只适用于输入为3通道的图像的模型。在实际操作中，我们可以调用。
Pytorch中统计模型的计算量(FLOPs)和参数量(Params)
qq_36771396的博客
03-29 2万+
get_model_complexity_info 函数的参数 as_strings=True 表示返回的结果以字符串形式表示，print_per_layer_stat=True 表示打印每个层的统计信息。然后，我们定义了模型的输入尺寸，并使用 get_model_complexity_info 函数来计算模型的乘积累加操作（MACs，可以近似为 FLOPs）和参数量。最后，我们将结果打印出来。在深度学习中，FLOPs 用于衡量模型的总计算量，包括所有的乘法、加法和其他可能的操作（如激活函数的计算）。
from thop import clever_format, profile
12-17
1. `profile`: 这个函数用于计算神经网络模型的算术运算次数 (FLOPs) 和参数数量。你需要定义一个自定义计数器函数 `count_your_model` 来指定模型内部特定操作的计算方式。该函数通常接收模型、输入样本和可能的...
pytorch计算FLOPs
haima1998的专栏
12-21 5135
转自：pytorch计算FLOPs - 简书 1. 引言 其实模型的参数量好算，但浮点运算数并不好确定，我们一般也就根据参数量直接估计计算量了。但是像卷积之类的运算，它的参数量比较小，但是运算量非常大，它是一种计算密集型的操作。反观全连接结构，它的参数量非常多，但运算量并没有显得那么大。 此外，机器学习还有很多结构没有参数但存在计算，例如最大池化和Dropout等。因此，PyTorch-OpCounter 这种能直接统计 FLOPs 的工具还是非常有吸引力的。 PyTorch-OpCounter G
【Deep Learning】计算PyTorch模型的FLOPs
pangpd的博客
09-10 1万+
1. 衡量深度学习模型重量级的指标 参数量： CNN: 一个卷积核的参数 = kkCin+1 一个卷积层的参数 = (一个卷积核的参数)卷积核数目=kkCinCout+Cout FLOPS: 注意全大写，是floating point operations per second的缩写，意指每秒浮点运算次数，理解为计算速度。是一个衡量硬件性能的指标。 FLOPs: 注意s小写，是floating point operations的缩写（s表复数），意指浮点运算数，理解为计算量。可以用来衡量算法/模型的复杂度。
深度学习——Pytorch模型统计FLOPs，MACs和Params评估参数
qq_40280673的博客
04-29 1万+
FLOPs（Floating point operations per second）是指每秒浮点运算次数，MACs （Multiply-Accumulate Operations）是指乘加操作的次数，Params（Parameters）是指模型的参数数量。这三个指标可以用来衡量模型的复杂度，即模型计算量的大小。
Pytorch中FLOPs和Params计算
flyingluohaipeng的博客
02-27 2252
【代码】Pytorch中FLOPs和Params计算。
使用PyTorch构建神经网络，并使用thop计算参数和FLOPs
百年孤独百年的博客
05-09 5255
FLOPs（floating point operations）是指浮点运算次数，通常用来评估一个计算机算法或者模型的计算复杂度。在机器学习中，FLOPs通常用来衡量神经网络的计算复杂度，因为神经网络的计算主要由矩阵乘法和卷积操作组成，而这些操作都可以转化为浮点运算次数的形式进行计算。
pytorch 计算flops和params
Lily的博客
12-17 2715
pytorch 计算 params from thop import profile import torch from resnet_18 import Resnet_18, resnet18 model = Resnet_18() input = torch.randn(1, 3, 256, 256) flops, params = profile(model, inputs = (input)) print(flops) print(params) **FPS 计算过程 ** res = []
pytorch llm 计算flops和参数量
Learning from the mistakes
08-09 278
这就是我带chat_template的测试啦。
pytorch: 计算网络模型的计算量(FLOPs)和参数量(Params)
傲笑风的博客
11-20 2万+
计算量： FLOPs，FLOP时指浮点运算次数，s是指秒，即每秒浮点运算次数的意思，考量一个网络模型的计算量的标准。 参数量： Params，是指网络模型中需要训练的参数总数。 第一步：安装模块（thop） pip install thop 第二步：计算 import torch from thop import profile net = Model() # 定义好的网络模型 input = torch.randn(1, 3, 112, 112) flops, params = profile(net
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值