P10：非线性激活的使用

爱摸鱼的经济er

于 2023-01-13 10:34:22 发布

阅读量143

点赞数

分类专栏： PyTorch学习笔记文章标签：深度学习 pytorch python 人工智能神经网络

本文链接：https://blog.youkuaiyun.com/The_friends/article/details/128670438

版权

PyTorch学习笔记专栏收录该内容

19 篇文章

订阅专栏

该文展示了在PyTorch环境中如何进行非线性操作，如使用ReLU和Sigmoid激活函数。首先，对输入数据进行重塑，然后定义一个简单的网络结构，包含ReLU和Sigmoid层。接着，利用CIFAR10数据集创建DataLoader，并在数据上应用网络。最后，通过TensorBoard的SummaryWriter记录并可视化输入和经过非线性层处理后的输出图像。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1、非线性操作：

输入如下：

import torch
import torchvision.datasets
from torch import nn
from torch.nn import ReLU, Sigmoid
from torch.utils.data import DataLoader
from torch.utils.tensorboard import SummaryWriter

input = torch.tensor([[1, -0.5],
                      [-1, 3]])
input = torch.reshape(input, (-1,1,2,2))
print(input.shape)

形状如下：

2、定义网络：

dataset = torchvision.datasets.CIFAR10('dataset', train=False, transform=torchvision.transforms.ToTensor(), download=True)
dataloader = DataLoader(dataset, batch_size=64)

class Tudui(nn.Module):
    def __init__(self):
        super(Tudui, self).__init__()
        self.relu1 = ReLU()
        self.sigmoid1 = Sigmoid()

    def forward(self, input):
        # output = self.relu1(input)
        output = self.sigmoid1(input)
        return output

3、调用神经网络：

tudui = Tudui()
output = tudui(input)
print(output)

结果如下：

4、在现实数据集中使用非线性层：

代码如下：

writer = SummaryWriter('logs_relu')
step = 0
for data in dataloader:
    imgs, targets = data
    writer.add_images('input', imgs, step)
    output = tudui(imgs)
    writer.add_images('output', output, step)
    step += 1

writer.close()

结果如下：