计算神经网络每一层需要训练的参数和每一层的FLOPs

本文介绍如何在PyTorch中实现神经网络,并详细讲解如何计算模型的FLOPs(浮点运算数)。通过定义神经网络结构,利用THOP库获取整个网络的FLOPs,并进一步分解到每一层的FLOPs,帮助读者更好地理解模型的计算复杂度。

FLOPs是什么?

FLOPs:注意s小写,是floating point operations的缩写(s表复数),意指浮点运算数,理解为计算量。可以用来衡量算法/模型的复杂度。

开始实现

使用的是pytorch来实现神经网络,先导入这几个包。为啥那,我再想想。。。

import torch
import torch.nn.functional as F
import torch.nn as nn
from thop import profile

定义神经网络,这里常用了继承torch.nn.Module的方法,至于其他的方法,我只是一个小白。。。要什么其他方法。

class Net(torch.nn.Module):
    def __init__(self, n_features, n_hidden, n_output):
        super(Net, self).__init__()
        self.hidden = torch.nn.Linear(n_features, n_hidden)
        self.predict = torch.nn.Linear(n_hidden, n_output)

    def forward(self, x):
        x = F.relu(self.hidden(x))
        x = self.predict(x)
        return x

定义了一个获得神经网络每层参数的函数getParameter,

在getParameter里面进一步写出我想要的东西,返回的是一个字典

def getParameter(net):  # return a dictionary that includes every layer name and count of parameter

    nameL
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值