使用mmengine.analysis.get_model_complexity_info()打印任意模型参数和flops

文章介绍了如何使用mmengine库中的`get_model_complexity_info`函数来计算深度学习模型的FLOPs(浮点运算次数)和参数数量,适用于单输入和多输入网络,并展示了在不同设备上的计算示例。

使用analysis.get_model_complexity_info()打印任意模型参数和flops

  • 对于只有一个输入的网络
from mmengine.analysis import get_model_complexity_info
from mmengine.analysis.print_helper import _format_size
from models.Models import mynet
import torch

if __name__ == '__main__':

    device = torch.device("cuda" if torch.cuda.is_available() else "cpu")
    print('==> Building model..')
    net = mynet()
    net 
MMEngine 的 `model` 模块中,`constant_init` `normal_init` 是用于对模型中的参数进行初始化的函数。它们分别实现了常数初始化正态分布初始化,提供了比 `torch.nn.init` 更加简洁、模块化的接口。 ### constant_init 使用方法 `constant_init` 用于将模型中指定层的权重初始化为一个固定的值。通常适用于偏置项(bias)或某些特定层的初始化操作。 **使用方式如下:** ```python from mmengine.model import constant_init # 对模型 model 中的所有卷积层(Conv2d)进行常数初始化,值为 0 constant_init(model, val=0, bias=0) ``` - `val`: 初始化的常数值。 - `bias`: 如果存在偏置项,则可以指定偏置的初始化值(可选)。 此函数会遍历模型中的所有模块,并对符合要求的层(如 `nn.Conv2d` 或 `nn.Linear`)执行初始化操作[^3]。 --- ### normal_init 使用方法 `normal_init` 用于以正态分布的方式对模型参数进行初始化,即从均值为 `mean`、标准差为 `std` 的正态分布中采样初始值。 **使用方式如下:** ```python from mmengine.model import normal_init # 对模型 model 进行正态分布初始化,均值为 0,标准差为 0.01 normal_init(model, mean=0, std=0.01, bias=0) ``` - `mean`: 正态分布的均值。 - `std`: 正态分布的标准差。 - `bias`: 可选参数,用于设置偏置项的初始化值。 这种初始化方式通常用于卷积神经网络中,有助于防止梯度消失或爆炸问题,提升训练稳定性[^1]。 --- ### 示例代码 以下是一个完整的示例,展示如何使用 `constant_init` `normal_init`: ```python import torch.nn as nn from mmengine.model import constant_init, normal_init # 定义一个简单的模型 class SimpleModel(nn.Module): def __init__(self): super().__init__() self.conv1 = nn.Conv2d(3, 64, kernel_size=3, padding=1) self.fc = nn.Linear(64 * 32 * 32, 10) def forward(self, x): return self.fc(self.conv1(x).flatten(1)) model = SimpleModel() # 使用 normal_init 对模型进行正态分布初始化 normal_init(model, mean=0, std=0.01, bias=0) # 使用 constant_init 对模型中的 Linear 层进行常数初始化 constant_init(model, val=0, bias=0) ``` --- ### 应用场景对比 - **constant_init** 适合用于偏置初始化或者某些需要固定值的特殊层。 - **normal_init** 适用于大多数卷积层全连接层,尤其是在希望保持激活值分布稳定的场景中。 这些初始化方法可以结合配置文件或训练流程中的钩子函数使用,确保模型每次训练时都具有良好的初始状态。 ---
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值