网络模型的大体搭建流程

       

目录

TensorBoard：

torchvision的一般用法： 

归一化的介绍：

dataloader的用法

前向传播：简单来说就是input 经过一个forward，然后有一个output

卷积操作

池化层

​编辑非线性激活

线性层

损失函数

优化器

模型保存方式

完整的模型训练代码

完结

---

 

学了神经网络的基本搭建已经有一段时间了，一直在想写一篇关于这方面的文章，恰好最近举办了一场AI的宣讲会，我又把那些少的可怜的知识捋了一遍，在此分享给大家。

        Dataset：能够提供一种方式去获取数据及其label，并且可以把获取的数据进行编号

        Dataloader:把数据打包

TensorBoard：

在这里我就绘制一个y=x的函数

from torch.utils.tensorboard import SummaryWriter

writer = SummaryWriter('logs')

for i in range(100):
    writer.add_scalar('y=x', i, i)  # 注意这里的add_scalar后面没有s
    # add_scalar中的tag表示标题，scalar_value表示y轴，global_step表示x轴
writer.close()

然后在Terminal中输入tensorboard --logdir=logs,这里默认打开的是6006的端口，一般我们会自己指定端口

tensorboard --logdir=logs --port=6007

torchvision的一般用法： 

归一化的介绍：

Normalize中的参数设置：mean表示均值， std表示标准差

# Compose
trans_resize_2 = transforms.Resize(512)
trans_compose = transforms.Compose([trans_resize_2, trans_totensor])
# 执行顺序：先执行一个resize的变换，再进行totensor的变换
# 后面这个参数的 输入 跟前面那个参数的 输出 要进行匹配的

dataloader的用法

import torchvision

from torch.utils.data import DataLoader

# 准备的测试数据集
test_data = torchvision.datasets.CIFAR10('./dataset02', train=False, transform=torchvision.transforms.ToTensor())
# batch_size 每次取出多少的图片
test_loader = DataLoader(dataset=test_data, batch_size=4, shuffle=True, num_workers=0, drop_last=False)

# 测试数据集中第一张图片以及target
img, target = test_data[0]
print(img.shape)
print(target)

print('-------------------------')
for data in test_loader:
    imgs, targets = data
    print(imgs.shape)
    print(targets)

前向传播：简单来说就是input 经过一个forward，然后有一个output

from torch import nn
import torch


class ZWY(nn.Module):  # 每一次都要重写这两个方法
    def __init__(self):
        super(ZWY, self).__init__()  # 调用父类中的方法，也可以写成 super().__init__

    def forward(self, input):
        output = input + 1
        return output


zwy = ZWY()
x = torch.tensor(1.0)
output = zwy(x)  # 这就是一个简单的前向传播
print(output)

卷积操作

当stride=1时，卷积核一个单位一个单位地移动

输入图像（5x5）和卷积核（3x3）对应位置的数字相乘然后相加之和等于输出

 这里以二维卷积举例

这里，torch.nn相当于torch.nn.functional的一个封装，其实只需要了解torch.nn的用法就行了

下面的这个是torch.nn.functional

import torch.nn.functional as F
output = F.conv2d(input, kernel, stride=1)  # stride可以是一个int也可以是一个元组，表示每次匹配后横向和纵向的移动距离

torch.nn(要求掌握)

 填充的padding默认是0

kernel_size,只需要定义它的大小就行了，因为在训练当中，会不断调整kernel里的值

 这张图片的重点在于in_channels和out_channels

 当in_channels和out_channels都设置为1的时候如下图

当输入图像的in_channels设置为1，out_channels设置为2，那么就会生成两个不同的卷积核，分别对输入图像进行卷积，得到两个不同的输出图像，然后最终把这两个输出图像叠加起来进行输出

池化层

个最常用的是nn.MaxPool2d

使用的时候可以设置kernel_size，还有floor(向下取整)和ceiling（向上取整），但是要注意的是，这里的stride默认的大小是kernel_size