卷积网络的运算量和参数量的计算

在实验中常需计算网络的参数量和运算量,文中给出了相关参考链接https://github.com/nmhkahn/torchsummaryX ,还提及了运算量和参数量的计算代码。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

在实验中,经常需要计算网络的参数量和预算量。

参考:https://github.com/nmhkahn/torchsummaryX

运算量和参数量的计算代码

    # Calculate params & FLOPs
    from torchsummaryX import summary
    dummy_input = torch.zeros(1, 3, 128, 128).cuda()
    summary(model.netG, dummy_input)
    exit()

 

 

 

### 计算二维卷积神经网络中的参数数量 对于一个标准的二维卷积层,参数的数量取决于输入通道数 \( C_{in} \),输出通道数 \( C_{out} \),以及卷积核大小 \( K \times K \)[^1]。 具体来说,每个滤波器(kernel)有 \( C_{in} \cdot K \cdot K \) 个权重参数。由于存在 \( C_{out} \) 个这样的滤波器,因此整个卷积层的总参数量为: \[ 参数总量 = (C_{in} \cdot K \cdot K + 1) \cdot C_{out} \] 这里额外加上了偏置项 \( b_i \),\( i=0,...,C_{out}-1 \),所以每个滤波器实际上还有1个偏置参数[^3]。 ```python import torch.nn as nn conv_layer = nn.Conv2d(in_channels=3, out_channels=64, kernel_size=(3, 3)) params = sum(p.numel() for p in conv_layer.parameters()) print(f"Total parameters: {params}") ``` ### 浮点运算次数(FLOPs) 浮点运算次数是指完成一次前向传播过程中涉及的所有基本算术操作(主要是乘法加法)。对于单次卷积操作而言,在不考虑激活函数其他非线性变换的情况下,每次应用一个 \( K \times K \) 的滑动窗口到输入特征图上都会触发一系列固定的乘法加法操作[^5]。 设输入张量形状为 \( H \times W \),则总的浮点运算是由两部分组成:一是卷积过程本身带来的贡献;二是可能存在的bias addition所带来的额外开销。当遍历整个图像区域时,每一步都需要做 \( C_{in}\cdot K\cdot K \) 次乘法同样多的加法,再加上最后的结果要加上对应的bias,则最终得到: \[ FLOPs = ((H-K+1)\times(W-K+1))\times(C_{in}\cdot K\cdot K\times2+C_{out})\times C_{out} \] 注意这里的 `((H-K+1)*(W-K+1))` 表示有效卷积后的输出尺寸。 为了简化计算并提高效率,通常会采用专门设计好的工具包如thop来统计PyTorch模型的具体FLOPs数值[^4]。 ```python from thop import profile input_tensor = torch.randn(1, 3, 224, 224) flops, params = profile(conv_layer, inputs=(input_tensor,)) print(f"FLOPs: {flops}, Parameters: {params}") ```
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值