torch.nn.Linear 与魔法属性

本文深入探讨了PyTorch中torch.nn.Linear类的__call__魔法方法,解释了如何将类实例作为函数调用的原理,这对于理解PyTorch网络的前向传播过程至关重要。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

torch.nn.Linear 与魔法属性

标签: pytorch


这篇文章不是说torch.nn.Linear这个类怎么用,因为网上有大把的东西,而是想通过这个引申出一个关于python中的魔法函数。

如果你学过torch,你肯定知道我们建立层可以通过hidden = torch.nn.Linear(n_feature,n_hidden)建立一个单层的网络,但是下面我们使用的时候可能你就看不太懂了,我们调用hidden(x),这个地方我开始迷惑很久,因为hidden其实是一个类对象,但是我下面使用hidden(x)好像把hidden当做了一个函数,其实这里是使用了python中的一个魔法函数__call__。看下面一段代码:

class A(object):
    def __call__(self, *args, **kwargs):
        print("call me")
a = A()
a()

最终会输出call me,这个和上面那个效果一样,并且在pytorch里面还有很多地方都这样用的,比如我们重写了前向传播,但是使用的时候确直接使用网络的类对象()这样就可以了,这里也是__call__函数帮你做的,所以要熟悉一下python中的这些魔法属性,要不然到时候为什么都不知道,怎么读源代码呢。

参考:

https://stackoverflow.com/questions/54518808/pytorch-weak-script-method-decorator

import torch from torchvision import transforms from torchvision import datasets from torch.utils.data import DataLoader import torch.nn.functional as F import torch.optim as optim import time transform = transforms.Compose([transforms.ToTensor(),transforms.Normalize((0.1307, ), (0.3081, ))]) train_dataset = datasets.MNIST(root='../dataset/mnist/',train=True,download=True,transform=transform) train_loader = DataLoader(train_dataset,shuffle=True,batch_size=32) test_dataset = datasets.MNIST(root='../dataset/mnist/',train=False,download=True,transform=transform) test_loader = DataLoader(test_dataset,shuffle=False,batch_size=32) class Net(torch.nn.Module): def __init__(self): super(Net, self).__init__() self.conv1 = torch.nn.Conv2d(1, 10, kernel_size=5) self.conv2 = torch.nn.Conv2d(10, 20, kernel_size=5) self.pooling = torch.nn.MaxPool2d(2) self.fc1 = torch.nn.Linear(320, 256) self.fc2 = torch.nn.Linear(256, 128) self.fc3 = torch.nn.Linear(128, 64) self.fc4 = torch.nn.Linear(64, 10) def forward(self, x): batch_size = x.size(0) x = F.relu(self.pooling(self.conv1(x))) x = F.relu(self.pooling(self.conv2(x))) x = x.view(batch_size, -1) # flatten x = F.relu(self.fc1(x)) x = F.relu(self.fc2(x)) x = F.relu(self.fc3(x)) x = self.fc4(x) return x model = Net() device = torch.device("cuda:0" if torch.cuda.is_available() else "cpu") model.to(device) criterion = torch.nn.CrossEntropyLoss() optimizer = optim.SGD(model.parameters(), lr=0.01, momentum=0.5) def train(epoch): running_loss = 0.0 for batch_idx, data in enumerate(train_loader, 0): inputs, target = data inputs, target = inputs.to(device), target.to(device) optimizer.zero_grad() # forward + backward + update outputs = model(inputs) loss = criterion(outputs, target) loss.backward() optimizer.step() running_loss += loss.item() if batch_idx % 300 == 299: print('[%d, %5d] loss: %.3f' % (epoch + 1, batch_idx + 1, running_loss / 300)) running_loss = 0.0 def test(): correct = 0 total = 0 with torch.no_grad(): for data in test_loader: inputs, target = data inputs, target = inputs.to(device), target.to(device) outputs = model(inputs) _, predicted = torch.max(outputs.data, dim=1) total += target.size(0) correct += (predicted == target).sum().item() print('Accuracy on test set: %d %% [%d/%d]' % (100 * correct / total, correct, total)) # 修正缩进 start_time = time.perf_counter() for epoch in range(10): train(epoch) test() elapsed = time.perf_counter() - start_time print(f"执行耗时: {elapsed:.6f} 秒") 对上述代码添加打印图标。图标横坐标是epoch,纵坐标是平均损失和测试正确率。要求两个纵坐标显示在同意图表里。平均损失用蓝色实线,测试正确率用红色虚线
最新发布
08-04
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值