模型参数数量与计算量

最新推荐文章于 2025-06-26 10:01:02 发布
原创 最新推荐文章于 2025-06-26 10:01:02 发布 · 4.3k 阅读 · 5 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

博客介绍了模型参数数量（params）与理论计算量（FLOPs）相关内容。参数数量关系到模型大小，单位常为M，模型大小通常是参数数量四倍。还给出了CONV卷积层和FC全连接层的参数数量及理论计算量的计算公式。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

原博地址：

https://blog.youkuaiyun.com/mzpmzk/article/details/82976871

参数数量（params）与理论计算量(FLOPs)

1.参数数量

      关系到模型大小，单位通常为M，通常参数用float32表示，所以模型大小通常是参数数量的四倍

2.计算公式

      假设卷积核大小为K_{_{h}}*K_{_{w}}，输入通道数为C_{in},输出通道数为C_{out}，输出特征图的高和宽分别为W和H

     CONV卷积层的参数数量与理论计算量为:

      -params: K_{n}*K_{h}*C_{in}*C_{out}

      -FLOPs: K_{n}*K_{h}*C_{in}*C_{out}*H*W,即FLOPs = params*H*W

      

      FC全连接层

      -params:C_{in}*C_{out}

      -FLOPs:C_{in}*C_{out}

     

 

模型的参数量、计算量、延时等的关系
bblingbbling的博客
03-13 1484
1.相同 FLOPs 的两个模型，它们的延时可能会差很多。例如某个模型需要256000个浮点参数定义，转化为bit 乘以32得8192000bit，再除8转化为Byte，1024KB，也就是1M，那么这个模型大小约为1M。2.计算量：FLOPs，Floating Point Operations，浮点运算次数，用来衡量模型计算复杂度。4.对于并行度而言，在相同的 FLOPs 下，具有高并行度的模型可能比另一个具有低并行度的模型快得多。2.在相同的 FLOPs 下，MAC 大的模型将具有更大的延时。
模型参数与计算量
hey-yahei
06-20 1万+
模型参数与计算量 原文链接：https://hey-yahei.cn/2019/01/07/MXNet-OpSummary/ 这一两个月比较忙，没什么时间空下来写写博文，加上最近处于摸索阶段，各种思路还没有理清，不敢瞎写。 这两天看到Lyken17的pytorch-OpCounter，萌生了一个写一个MXNet的计数器的想法，项目已经开源到github上，并且做个pip的包，嘻嘻……第一次做包，虽...
Pytorch中统计模型的计算量(FLOPs)和参数量(Params)
热门推荐
qq_36771396的博客
03-29 1万+
get_model_complexity_info 函数的参数 as_strings=True 表示返回的结果以字符串形式表示，print_per_layer_stat=True 表示打印每个层的统计信息。然后，我们定义了模型的输入尺寸，并使用 get_model_complexity_info 函数来计算模型的乘积累加操作（MACs，可以近似为 FLOPs）和参数量。最后，我们将结果打印出来。在深度学习中，FLOPs 用于衡量模型的总计算量，包括所有的乘法、加法和其他可能的操作（如激活函数的计算）。
maskRCNNN训练终端输出这里能看出模型参数量的大小吗？
最新发布
weixin_43501408的博客
06-26 143
目标方法查看参数量手动添加统计代码（查看结构和层信息使用终端默认输出不包含参数量信息。
模型的计算量和参数量
qq_44576434的博客
06-16 603
参考链接：https://blog.youkuaiyun.com/qq_40507857/article/details/118764782。
神经网络参数量和计算量
zfjBIT的专栏
10-24 1517
神经网络参数量和计算量
统计网络模型的参数量和计算量
xjcoolice的博客
11-07 8939
在神经网络中，参数量和计算量是衡量神经网络模型的两个重要指标；参数量决定网络的大小，其主要影响的是模型的内存或显存大小；计算量则决定网络运行的快慢； 一、计算说明： 参数量（#paras）即为网络模型中含有多少个参数，与输入的数据无关，主要与模型的结构有关系；其主要影响模型运算是所需要的内存或显存 计算量(#FLOPs)通常使用FLOPs(Floating point operations，浮点运算数量)来表示计算量，其主要来衡量算法/模型的复杂度。论文中一般用GFLOPs来表示，1GFLOPs=10^.
大模型的参数量是什么意思
caoyongsheng的博客
05-23 3326
大模型的参数量通常指的是模型中用于学习和存储知识的变量数量。模型的参数量表征了模型的学习能力，即模型可以从数据中捕捉到的复杂度和细节。一般来说，参数量越大，模型的表达能力就越强，理论上能够捕捉到更复杂的模式和更细致的信息。：在神经网络中，每个神经元都与前一层的一个或多个神经元相连，这些连接上有相应的权重。权重表示了前一层神经元对当前神经元影响的强度。：偏置是加在神经元的加权输入上的一个固定值，它允许模型在输入为零时也能产生非零的输出。参数对应的实体是模型内部的数值，它们存储在模型的权重矩阵和偏置向量中。
transformer模型的参数量和计算量
a_blade_of_grass的博客
06-26 3193
大规模语言模型（Large Language Model, LLM）的大体现在两个方面：模型参数规模大，训练数据规模大。以GPT3为例，参数量为1750亿，训练数据达到了570GB。进而，训练大语言模型面临两个主要挑战：显存效率和计算效率。现在业界的大语言模型都是基于transformer模型的，模型结构主要是encoder-decoder（代表模型是T5）和decoder-only（分为Causal LM——代表模型GPT，Prefix LM——代表模型GLM）。
0018-极智AI-解读输入图片BatchSize和分辨率对模型计算量和参数量的影响-个人笔记
09-01
模型参数量指的是模型中可学习参数的总数，它影响了模型对数据的表示能力，而计算量则与模型执行时间密切相关，可以被理解为模型运行的效率。计算量通常用浮点运算次数（FLOPs）来衡量，这是衡量模型时间复杂度的...
Pytorch计算模型参数总量和模型计算量
confusingbird的博客
01-09 1万+
计算这两个值之前要进行模型加载，模型加载的方法见https://blog.youkuaiyun.com/confusingbird/article/details/103913915， 加载完模型后得到模型model 方法1：pytorch自带方法，计算模型参数总量 total = sum([param.nelement() for param in model.parameters()]) p...
tensorflow 获取模型所有参数总和数量的方法
09-20
计算模型参数的总数可以帮助我们理解模型的规模，评估其训练时间和资源需求。更大的模型可能需要更多的数据来避免过拟合，并且在计算资源上要求更高。此外，参数数量还可以作为比较不同模型复杂度的一种方式。 在...
模型大小 与参数量计算
2401_85280106的博客
11-19 2765
就是模型的大小，我们一般使用参数量parameter来衡量，注意，它的单位是。来衡量。比如ResNet-152的参数量可以达到60 million =0.0006M。有些时候，modelsize在实际计算时除了包含参数量以外，还包括网络架构信息和优化器信息等。比如存储一个一般的CNN模型(ImageNet训练)需要大于300MB。比如说我有一个模型参数量是1M，在一般的深度学习框架中(比如说PyTorch)，一般是32位存储。32位存储的意思就是1个参数用32个bit来存储。
模型参数量（Params）和模型每秒浮点运算速度（Flops）
william_hehe的博客
09-12 4614
1.对卷积层而言，有： 模型参数量计算公式： （K_h * K_w * C_in）* C_out 模型每秒浮点运算速度计算公式： (K_h * K_w * C_in * C_out) * (H_out * W_out) 其中：K_h和K_w 代表了kernel的input_size, C_in是input feature map的channel数，C_out是output feat...
模型参数量(Params)/模型大小 & Pytorch统计模型参数量
hxxjxw的博客
07-23 1万+
到时候把dict的item换成你所用模型的 print(model) total_params = sum(p.numel() for p in model.parameters()) print(f'{total_params:,} total parameters.') _dict = {} _dict['encoder'] = 0 _dict['decoder'] = 0 _dict['stn_head'] = 0 for _,param in enumerate(.
深度学习模型的参数、计算量和推理速度统计
@bangbang的博客
11-15 6773
在没有过拟合的情况下，相同模型结构下，一般模型的参数量和计算量与最终的性能成正比，在比较不同模型性能时，最好能保持模型参数量和计算量在相同水平下，因此相应参数的统计很重要。这里只进行理论计算，最终的效果（内存和速度）还和网络结构，代码实现方式、应用的平台性能等条件有关系，例如使用GEMM实现CNN时会增加内存，但实际的计算速度会加快。相同条件下，GRU由于时序依赖关系不能并行加速，实际速度会比CNN更慢。
深度学习中参数量与计算量的理解
Monster_H7的博客
07-18 4236
接下来要分别概述以下内容： 　　１　首先什么是参数量，什么是计算量 　　２　如何计算　参数量，如何统计　计算量 　　３　换算参数量，把他换算成我们常用的单位，比如:mb 　　４　对于各个经典网络，论述他们是计算量大还是参数两，有什么好处 　　５　计算量，参数量分别对显存，芯片提出什么要求，我们又是怎么权衡 １　首先什么是计算量，什么是参数量 　　计算量对应我们之前的时间复杂度，参数量对应于我们之前的空间复杂度，这么说就很明显了 也就是计算量要看网络执行时间的长短，参数量要看占用显存的量.
【深度学习常见问题——模型参数量】
selami的博客
03-22 7865
网络参数量的基本概念及计算
【pytorch】计算一个CNN模型model的参数量，即论文中常用的#parameters
Luissen的博客
04-01 4948
在开始之前，请记住，存储量不是参数量！！！！ 存储量不是参数量！！！！ 存储量不是参数量！！！！ 通常来说我们在训练模型的时候会用checkpoint的方法把模型保存下来，一个模型小则几十M，大则上百M，并且我们很多时候会把这个存储量误认为是参数量，比如 但是实际上这个是存储量而不是参数量，那么在pytorch中参数量怎么计算呢？ 实际上我们可以直接在pytorch代码中print一个模型的参数：...
计算模型的参数量 计算量
01-01
### 计算深度学习模型的参数量 对于深度学习模型而言，参数量是指模型中可训练权重的数量。这些权重通常存在于线性变换（全连接层）、卷积核以及偏置项之中。 #### 卷积层参数量计算 假设有一个卷积层，其输入通道数为\(C_{in}\)，输出通道数为\(C_{out}\)，卷积核大小为\(K \times K\)。那么该卷积层的参数量可以表示为： \[ C_{in} * C_{out} * K^2 + C_{out} \] 其中额外加上\(C_{out}\)是因为每个输出通道都有一个对应的偏置项[^1]。 #### 全连接层参数量计算 如果存在一个全连接层，前一层有\(N\)个神经元，当前层有\(M\)个神经元，则这个全连接层的参数量为: \[ N*M + M \] 这里同样包含了\(M\)个偏置项。 ### 计算深度学习模型的计算复杂度 计算复杂度主要体现在浮点运算次数(FLOPs, Floating Point Operations Per Second)上，在实际应用中常用的是乘积累加操作(MACs, Multiply-Accumulate operations)[^2]。 #### 卷积层计算复杂度 继续以上述卷积层为例，当处理一张尺寸为\(H*W\)的特征图时，整个卷积过程中的MACs数目大约等于： \[ H*W*C_{out}*C_{in}*K^2 \] 这是因为每次滑动窗口都会执行一次局部区域内的矩阵相乘累加操作。 #### 使用工具辅助计算 为了简化上述手动计算的过程，可以通过一些自动化工具来统计模型内部各部分的具体开销情况。例如PyTorch框架下就有专门设计用来做这件事的小程序或库函数，可以直接调用并获得详细的报告信息。 ```python from thop import profile import torch.nn as nn import torchvision.models as models model = models.resnet18() input_tensor = torch.randn(1, 3, 224, 224) macs, params = profile(model, inputs=(input_tensor,)) print(f"FLOPs: {macs}, Parameters: {params}") ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值