深度学习笔记012：AlexNet+.nn.Sequential构建神经网络使用实例+object to parameter ‘0’ (torch.nn.Parameter or None……

原创已于 2022-01-29 16:12:22 修改 · 422 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#深度学习 #pytorch #人工智能

于 2021-07-10 17:19:44 首次发布

深度学习专栏收录该内容

175 篇文章

订阅专栏

本文详细探讨了AlexNet神经网络模型中如何利用数据增强技术，如随机裁剪和色彩调整，以及如何通过torch.nn.Sequential构建和组织复杂的网络结构。作者还展示了如何在Sequential中嵌套自定义模块和处理可学习参数，以及潜在的错误处理和最佳实践。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

AlexNet

在这里插入图片描述

在这里插入图片描述

$对原始图片进行了数据增强：随机截取，亮度与色温的改变$

在这里插入图片描述

torch.nn.Sequential源码链接

nn.Sequential
A sequential container. Modules will be added to it in the order they are passed in the constructor. Alternatively, an ordered dict of modules can also be passed in.

一个有序的容器，神经网络模块将按照在传入构造器的顺序依次被添加到计算图中执行，同时以神经网络模块为元素的有序字典也可以作为传入参数；代码链接。

import torch
from torch import nn

# Module 类是 nn 模块⾥提供的⼀个模型构造类，是所有神经⽹络模块的基类，继承它来定义我们想要的模型。需要重写Module 类的 __init__ 函数和 forward 函数。它们分别⽤于创建模型参数和定义前向计算。

class CenteredLayer(nn.Module):
    def __init__(self, **kwargs):
        super(CenteredLayer, self).__init__(**kwargs)

    def forward(self, x):

        return x - x.mean()

# 测试一下
layer = CenteredLayer()
layer(torch.tensor([1, 2, 3, 4, 5], dtype=torch.float))

# 放入到nn.Sequential中
net = nn.Sequential(nn.Linear(8, 128), CenteredLayer())
y = net(torch.rand(4, 8))
y.mean().item()

class FancyMLP(nn.Module):
    def __init__(self, **kwargs):
        super(FancyMLP, self).__init__(**kwargs)
    	self.rand_weight = torch.rand((20, 20),requires_grad=False)  # 不可训练参数（常数参数）
    	self.linear = nn.Linear(20, 20)

    def forward(self, x):
        x = self.linear(x)
        # 使⽤创建的常数参数，以及nn.functional中的relu函数和mm函数
    	x = nn.functional.relu(torch.mm(x, self.rand_weight.data) + 1)
    	# 复⽤全连接层。等价于两个全连接层共享参数
    	x = self.linear(x)
    	# 控制流，这⾥我们需要调⽤item函数来返回标量进⾏⽐较
    	while x.norm().item() > 1:
        	x /= 2
    	if x.norm().item() < 0.8:
        	x *= 10
    	return x.sum()

class NestMLP(nn.Module):
    def __init__(self, **kwargs):
        super(NestMLP, self).__init__(**kwargs)
        self.net = nn.Sequential(nn.Linear(40, 30), nn.ReLU())

    def forward(self, x):
        return self.net(x)


net = nn.Sequential(NestMLP(), nn.Linear(30, 20), FancyMLP())

更复杂一点的情况

如果模型中有需要学习的参数：

class MyDense(nn.Module):
    def __init__(self):
        # 在自己的模块中添加可学习的参数，供训练学习使用
        super(MyDense, self).__init__()
        self.params = nn.ParameterList([nn.Parameter(torch.randn(4,4)) for i in range(3)])
        # nn.Parameter(torch.randn(4,4))： Parameter 类其实是 Tensor 的⼦类，如果⼀个 Tensor 是 Parameter ，那么它会⾃动被添加到模型的参数列表⾥
        # ParameterList 接收⼀个 Parameter 实例的列表作为输⼊然后得到⼀个参数列表，使⽤的时候可以⽤索引来访问某个参数
        self.params.append(nn.Parameter(torch.randn(4, 1))) # 可以使⽤ append 和 extend 在列表后⾯新增参数
    def forward(self, x):
        for i in range(len(self.params)):
            x = torch.mm(x, self.params[i])
        return x

net = MyDense()
print(net)