Pytorch学习--神经网络--完整的模型训练套路

于 2024-11-11 14:55:26 发布
阅读量1.2k 收藏 21
点赞数 13
分类专栏： 深度学习 # Pytorch学习--小土堆视频 文章标签： pytorch 学习 神经网络 人工智能 深度学习 python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/weixin_68930974/article/details/143674248
版权

一、下载数据集

train_data = torchvision.datasets.CIFAR10(root="datasets",train=True,transform=torchvision.transforms.ToTensor(),download=True)
train_data = torchvision.datasets.CIFAR10(root="datasets",train=False,transform=torchvision.transforms.ToTensor(),download=True)

二、数据大小

train_data_len = len(train_data)
test_data_len = len(test_data)
print(train_data_len)
print(test_data_len)

三、数据加载

train = DataLoader(train_data,batch_size=64)
test = DataLoader(test_data,batch_size=64)

四、模型定义

class Mary(nn.Module):
    def __init__(self):
        super(Mary,self).__init__()
        self.model1 = nn.Sequential(
            Conv2d(3, 32, 5, padding=2),
            MaxPool2d(2),
            Conv2d(32, 32, 5, padding=2),
            MaxPool2d(2),
            Conv2d(32, 64, 5, padding=2),
            MaxPool2d(2),
            Flatten(),
            Linear(1024, 64),
            Linear(64, 10)
        )
    def forward(self,x):
        x = self.model1(x)
        return x

五、定义对象

Yorelee = Mary()

六、损失函数

loss_fn = nn.CrossEntropyLoss()

七、优化器

learning_rate = 0.01
optimizer = torch.optim.SGD(Yorelee.parameters(),lr=learning_rate)

八、训练过程

epoch = 10
for i in range(epoch):
    print("***********第{}轮训练***********".format(i+1))
    index = 1
    for data in train:
        imgs,targets = data
        output = Yorelee(imgs)
        loss = loss_fn(output,targets)

        optimizer.zero_grad()
        loss.backward()
        optimizer.step()
        print("({}) ".format(index),loss.item())
        index += 1

九、训练过程+测试过程

# 训练过程
epoch = 10
for i in range(epoch):
    print("***********第{}轮训练***********".format(i+1))
    index = 1
    for data in train:
        imgs,targets = data
        output = Yorelee(imgs)
        loss = loss_fn(output,targets)

        optimizer.zero_grad()
        loss.backward()
        optimizer.step()
        print("({}) ".format(index),loss.item())
        index += 1

    #测试过程
    total_loss = 0
    with torch.no_grad():
        for data in test:
            imgs,targets = data
            output = Yorelee(imgs)
            loss = loss_fn(output,targets)
            total_loss += loss
    print("测试： ",total_loss.item())

十、Tensorboard 可视化

#  Tensorboard 可视化
writer = SummaryWriter("logs")

# 训练过程
epoch = 10
for i in range(epoch):
    print("***********第{}轮训练***********".format(i+1))
    index = 1
    for data in train:
        imgs,targets = data
        output = Yorelee(imgs)
        loss = loss_fn(output,targets)

        optimizer.zero_grad()
        loss.backward()
        optimizer.step()
        print("({}) ".format(index),loss.item())
        if index % 100 == 0:
            writer.add_scalar("train_loss",loss,index)
        index += 1

    #测试过程
    total_loss = 0
    with torch.no_grad():
        for data in test:
            imgs,targets = data
            output = Yorelee(imgs)
            loss = loss_fn(output,targets)
            total_loss += loss
    print("测试： ",total_loss.item())
    writer.add_scalar("test_loss", total_loss, i)
writer.close()

十一、对于分类任务

可以用准确率来衡量，而不是用 total_loss 来衡量效果
先来举个简单的例子：
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
代码如下：

import torch

output = torch.tensor([[0.1,0.2],
                       [0.3,0.4]])
output = torch.argmax(output,dim=1)
preds = torch.tensor([0,1])
print((output==preds).sum())

输出：

tensor(1)

十二、对测试过程的重新改进

#  Tensorboard 可视化
writer = SummaryWriter("logs")

# 训练过程
epoch = 10
for i in range(epoch):
    print("***********第{}轮训练***********".format(i+1))
    index = 1
    for data in train:
        imgs,targets = data
        output = Yorelee(imgs)
        loss = loss_fn(output,targets)

        optimizer.zero_grad()
        loss.backward()
        optimizer.step()
        print("({}) ".format(index),loss.item())
        if index % 100 == 0:
            writer.add_scalar("train_loss",loss,index)
        index += 1

    #测试过程
    total_loss = 0
    with torch.no_grad():
        find_true = 0
        for data in test:
            imgs,targets = data
            output = Yorelee(imgs)
            # loss = loss_fn(output,targets)
            # total_loss += loss
            output = torch.argmax(output,dim=1)
            find_true += (output == targets).sum()
    print("测试： ",find_true/test_data_len.item())
    writer.add_scalar("test_loss", find_true/test_data_len, i)

十三、总结

model.py

import torch
from torch import nn
from torch.nn import Conv2d, MaxPool2d, Flatten, Linear


class Mary(nn.Module):
    def __init__(self):
        super(Mary,self).__init__()
        self.model1 = nn.Sequential(
            Conv2d(3, 32, 5, padding=2),
            MaxPool2d(2),
            Conv2d(32, 32, 5, padding=2),
            MaxPool2d(2),
            Conv2d(32, 64, 5, padding=2),
            MaxPool2d(2),
            Flatten(),
            Linear(1024, 64),
            Linear(64, 10)
        )
    def forward(self,x):
        x = self.model1(x)
        return x

if __name__ == '__main__':
    input = torch.ones((64,3,32,32))
    Yorelee = Mary()
    output = Yorelee(input)
    print(output.shape)

train.py

import torch
import torchvision
from torch.utils.data import DataLoader
from torch.utils.tensorboard import SummaryWriter

from model import *

# 数据集
train_data = torchvision.datasets.CIFAR10(root="datasets",train=True,transform=torchvision.transforms.ToTensor(),download=True)
test_data = torchvision.datasets.CIFAR10(root="datasets",train=False,transform=torchvision.transforms.ToTensor(),download=True)

# 数据大小
train_data_len = len(train_data)
test_data_len = len(test_data)
print(train_data_len)
print(test_data_len)

# 数据加载
train = DataLoader(train_data,batch_size=64)
test = DataLoader(test_data,batch_size=64)

# 定义对象
Yorelee = Mary()

# 损失函数
loss_fn = nn.CrossEntropyLoss()

# 优化器
learning_rate = 0.01
optimizer = torch.optim.SGD(Yorelee.parameters(),lr=learning_rate)

#  Tensorboard 可视化
writer = SummaryWriter("logs")

# 训练过程
epoch = 10
for i in range(epoch):
    print("***********第{}轮训练***********".format(i+1))
    index = 1
    for data in train:
        imgs,targets = data
        output = Yorelee(imgs)
        loss = loss_fn(output,targets)

        optimizer.zero_grad()
        loss.backward()
        optimizer.step()
        print("({}) ".format(index),loss.item())
        if index % 100 == 0:
            writer.add_scalar("train_loss",loss,index)
        index += 1

    #测试过程
    total_loss = 0
    with torch.no_grad():
        find_true = 0
        for data in test:
            imgs,targets = data
            output = Yorelee(imgs)
            # loss = loss_fn(output,targets)
            # total_loss += loss
            output = torch.argmax(output,dim=1)
            find_true += (output == targets).sum()
    print("测试： ",find_true/test_data_len.item())
    writer.add_scalar("test_loss", find_true/test_data_len, i)
writer.close()

十四、XX.train() 和 XX.eval() 的说明

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

PyTorch实战（1）——神经网络与模型训练过程详解
盼小辉丶的博客
04-17 4209
在本节中，我们介绍了传统机器学习与人工神经网络间的差异，并了解了如何在实现前向传播之前连接网络的各个层，以计算与网络当前权重对应的损失值；实现了反向传播以优化权重达到最小化损失值的目标。并实现了网络的所有关键组成——前向传播、激活函数、损失函数、链式法则和梯度下降，从零开始构建并训练了一个简单的神经网络。
Pytorch深度学习-----完整神经网络模型训练套路
LGL
08-12 1492
定义适当的损失函数来计算模型预测结果于真实标签之间的差异。选择适当的优化器算法来更新模型参数，如随机梯度下降（SGD）、Adam等。使用torchvision库加载CIFAR10数据集。将训练集和测试集分别存放在train_data和test_data中。引用model.py文件，在其中创建名为"Lgl"的模型。定义损失函数为交叉熵损失（nn.CrossEntropyLoss）。定义优化器为随机梯度下降（SGD）优化器，并将模型参数传递给优化器。
pytorch神经网络训练
kininee的博客
05-22 237
recurrent层：transformer 层 特定的神经网络用到。input>0的时候取原始值，input<0的时候截断为0。正则化层：对输入采用正则化 用的比较少。线性层：对输入执行一个线性变化。dropout层 防止过拟合。看看输入输出是否符合要求。非线性激活 relu。非线性激活：ReLU。
利用 PyTorch 训练神经网络（详细版）
Warmer_Sweeter
11-06 6110
点击关注我哦欢迎关注“小白玩转Python”，发现更多 “有趣”“A little learning is a dangerous thing; drink deep or taste...
pytorch简单神经网络模型训练
qq_51179608的博客
04-30 775
定义神经网络# 将数据展平# 激活x，方便数据全联接# 输出10分类return x代码定义了一个简单的全连接神经网络，适用于Fashion-MNIST这样的图像分类任务。这个网络包含两个全连接层（fc1和fc2），分别用于特征提取和分类。这里是您定义的QYNN__init__方法定义了网络的结构。网络接受28x28像素的灰度图像作为输入，首先通过一个线性层fc1将784个像素值映射到128个特征，然后通过第二个线性层fc2将128个特征映射到10个输出，对应于10个类别。forward。
三、pytorch之神经网络的训练
Ilove996
12-10 339
神经网络的训练过程 1.自定义一个神经网络 （1）：定义一个类，继承自Module，并且一定要实现两个基本函数。构造函数__init__，逻辑运算函数（向前计算函数）forward （2）：在构造函数__init__中实现层的参数的定义。比如Linear层的权重和偏置，Conv2d层的in_channels,out_channels,kernel_size,stride=1,padding=0,dilation=1,groups=1,bias=True,padding_mode=“zero” （3）：向前传
Pytorch训练神经网络-入门
长安1108的博客
08-02 416
这是一个python库的集合，在python中，库也叫做包，而anaconda中包含了大部分我们训练模型所需要的包可以使用miniconda+pip 代替anaconda。
Pytorch深度学习-----实现神经网络模型在GPU上进行训练的方法
LGL
08-13 2387
在代码中，通过调用来指定使用GPU进行计算。这是一种通用的方式，可以让PyTorch自动选择当前系统中的可用GPU。如果系统中有多个GPU可用，PyTorch将默认使用第一个可用的GPU作为计算设备。如果你希望明确指定使用哪一块GPU，可以使用来指定使用第一块GPU，或者使用来指定使用第二块GPU，以此类推。通过这种方式，你可以明确指定使用哪一块GPU来进行计算。需要注意的是，具体的GPU编号取决于系统中GPU的配置和可用情况，可以通过运行来查看系统中可用的GPU数量以及它们的编号。
Pytorch深度学习-----完整的模型验证套路
LGL
12-31 1273
return xLgl类定义了一个CNN，包含三个卷积层，接着是最大池化、展平操作以及两个线性层。该模型设计用于图像分类。
pytorch-神经网络
weixin_43318393的博客
10-09 748
介绍常见的网络，线性层，卷积层，池化，非线性，损失函数，优化器，CPUGPU训练模型套路，验证套路
完整的模型训练套路 pytorch
最新发布
2302_79795489的博客
10-17 393
1、（1）.train()：将模型设置为训练模式（2）.eval()：将模型设置为评估模式不写也可以（只对特定网络模型有作用，如含有Dropout的）2、：主要用于评估和推理，确保不会计算梯度，从而节省内存和加速计算。3、.item()的作用：将tensor型转为普通数值型当你有一个只有一个元素的张量时，可以使用.item()来提取这个值。4、如何由分类得分来计算正确率：[0.1,0.2],[0.3,0.4]]) #两个样本的二分类得分preds=
一次完整的Pytorch卷积神经网络训练
Dartao的博客
04-19 3994
利用pytorch框架搭建CIFAR10分类模型初体验
Pytorch学习系列(八)——训练神经网络
CodeTutor
06-29 1万+
训练神经网络的训练主要包含以下语句：if cuda: model.cuda() model.train()#把模型的状态设置为训练状态，主要针对Dropout层 optimizer = torch.optim.SGD((model.parameters(), lr=lr, momentum=momentum)) for epoch in range(epochs): for batc
拼拼凑凑的pytorch学习——神经网络训练
Campsisgrandiflora的博客
02-27 684
目录前置准备准备训练数据网络结构构建方式初始化网络层信息构建前向传播计算过程选择损失函数选择优化器开始训练 前置准备 有python环境，安装好pytorch 因为纯粹是为了演示训练过程，具体训练的内容并不是很重要，所以干脆来个简单点的，也好清楚地展示 下面将训练一个玩具神经网络，判断一个向量(x,y)位于第几象限，数据随机生成，网络结构只使用前向神经网络 准备训练数据 先写一个向量类 # 向量类 class Vector: def __init__(self, x, y): s
图神经网络实战（6）——使用PyTorch构建图神经网络
盼小辉丶的博客
03-28 1万+
图数据集通常比简单的连接集合更加丰富，因为节点和边可以具有表示分数、颜色、单词等特征。包含这些额外信息在输入数据中对于生成最佳嵌入至关重要。在本节中，我们将使用 Cora 和 Facebook Page-Page 数据集，首先将它们视为表格数据集，观察香草神经网络在节点特征上的表现如何。然后，尝试在神经网络中加入拓扑信息，实现图神经网络 (Graph Neural Networks, GNN) 架构：一个同时考虑节点特征和边的简单模型。最后，我们将比较两种架构的性能。
Pytorch神经网络的搭建与训练入门
qq_52825803的博客
02-07 1501
Pytorch神经网络的搭建与训练入门
PyTorch深度学习实战（1）——神经网络与模型训练过程详解
热门推荐
盼小辉丶的博客
05-28 8万+
在本节中，我们将了解传统机器学习与人工神经网络间的差异，并了解如何在实现前向传播之前连接网络的各个层，以计算与网络当前权重对应的损失值；实现反向传播以优化权重达到最小化损失值的目标。并将实现网络的所有关键组成——前向传播、激活函数、损失函数、链式法则和梯度下降，从零开始构建并训练了一个简单的神经网络。
pytorch训练神经网络详细讲解，初学者入门血荐！！！！
werdery的博客
02-09 1822
pytorch训练神经网络代码关于归一化 代码 pytorch训练神经网络 # coding=utf-8 import torch import torch.nn as nn import torch.nn.functional as F from torch.autograd import Variable import torchvision import torchvision.transf...
PyTorch深度学习实战（11）——卷积神经网络
盼小辉丶的博客
08-14 1万+
卷积神经网络 (Convolutional Neural Network, CNN) 是一种广泛应用的深度学习模型。通过参数共享、局部感知和空间结构等优势，能够更好地处理图像数据，并在图像识别、目标检测和图像生成等任务中展现出强大的能力。在本节中，介绍了卷积的计算方法以及卷积神经网络的基本组件，并使用 PyTorch 构建了卷积神经网络以深入了解其工作原理。
用pytorch搭建完整的神经网络的套路
03-21
首先，需要定义网络的结构，包括输入层、隐藏层和输出层的神经元数量，以及每层的激活函数。然后，需要定义损失函数和优化器，以便在训练过程中计算损失并更新模型参数。...这是用pytorch搭建完整的神经网络的套路。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值