pytorch自定义数据集分类resnet18迁移学习分类

本文介绍了如何使用预训练的ResNet18模型在PyTorch中进行图像分类,包括数据预处理、模型结构调整、训练过程、测试集评估以及模型保存与预测。
部署运行你感兴趣的模型镜像

这段代码 

trained_model = torchvision.models.resnet18(pretrained=True) #pretrained=True表示作为预训练模型
#创建新网络(我们获取resnet18的前17层网络,然后作为我们的网络,在这个基础上再进行我们自己的线性层操作,得到新的网络模型)
model = nn.Sequential(*list(trained_model.children())[:-1], #[b,512,1,1]
                      Flatten(),  #[b,512,1,1] => [b,512]
                      nn.Linear(512,5)
                      )

 

#代码 

import torch
import torchvision
import torchvision.transforms as transforms
import torch.nn as nn
import torch.optim as optim
 
# 定义数据集的根目录和预处理的转换
data_dir = '../data'  # 数据集的根目录
 
transform = transforms.Compose([
    transforms.Resize((224, 224)),  # 调整图像大小为 224x224
    transforms.ToTensor(),  # 转换为张量
    transforms.Normalize(mean=[0.485, 0.456, 0.406], std=[0.229, 0.224, 0.225])  # 归一化
])
 
# 创建 ImageFolder 数据集实例
dataset = torchvision.datasets.ImageFolder(root=data_dir, transform=transform)
 
# 划分训练集和测试集
train_size = int(0.8 * len(dataset))
test_size = len(dataset) - train_size
train_dataset, test_dataset = torch.utils.data.random_split(dataset, [train_size, test_size])
 
print(len(train_dataset))
print(len(test_dataset))
# 创建数据加载器
batch_size = 32
train_loader = torch.utils.data.DataLoader(train_dataset, batch_size=batch_size, shuffle=True)
test_loader = torch.utils.data.DataLoader(test_dataset, batch_size=batch_size, shuffle=False)
 
trained_model = torchvision.models.resnet18(pretrained=True) #pretrained=True表示作为预训练模型
#创建新网络(我们获取resnet18的前17层网络,然后作为我们的网络,在这个基础上再进行我们自己的线性层#操作,得到新的网络模型)
model = nn.Sequential(*list(trained_model.children())[:-1], #[b,512,1,1]
                      Flatten(),  #[b,512,1,1] => [b,512]
                      nn.Linear(512,5)
                      )
num_classes = len(dataset.classes) #获取图片的类别数量
model.fc = nn.Linear(model.fc.in_features, num_classes) #提取model.fc.in_features线性层中固定输入的size,
# num_classes分类图片的类型['cat','dog']
 
# 定义损失函数和优化器
criterion = nn.CrossEntropyLoss()
optimizer = optim.SGD(model.parameters(), lr=0.001, momentum=0.9)
 
# 训练模型
num_epochs = 10
device = torch.device("cuda" if torch.cuda.is_available() else "cpu")
model.to(device)
for epoch in range(num_epochs):
    model.train() #(训练模式,这句代码主要是对模型中的Droupout层和Normsize(均值方差计算)起作用)
    running_loss = 0.0
    for images, labels in train_loader:
        images = images.to(device) #将图片放到GPU训练
        labels = labels.to(device) #标签放到GPU训练
 
        optimizer.zero_grad() #梯度清零
 
        outputs = model(images) #图片输入到模型
        loss = criterion(outputs, labels) #预测值和真是值之间计算损失
        loss.backward() #反向传播
        optimizer.step() #更新参数
 
        running_loss += loss.item() #每次损失相加
 
    print(f"Epoch {epoch + 1}/{num_epochs}, Loss: {running_loss / len(train_loader):.4f}")
 
# 在测试集上评估模型
model.eval() #训练模式,这句代码主要是对模型中的Droupout层和Normsize(均值方差计算)不加入计算
total_correct = 0
total_samples = 0
with torch.no_grad():
    for images, labels in test_loader:
        images = images.to(device)
        labels = labels.to(device)
 
        outputs = model(images)
        _, predicted = torch.max(outputs, 1)
        total_samples += labels.size(0)
        total_correct += (predicted == labels).sum().item()
 
accuracy = total_correct / total_samples
print(f"测试集准确率: {accuracy * 100:.2f}%")
torch.save(model,"model56")
 
 
# 文件结构为:
# |--- data
# 	|--- dog
# 		|--- dog1_1.jpg
# 		|--- dog1_2.jpg
# 	|--- cat
# 		|--- cat2_1.jpg
# 		|--- cat2_2.jpg
 
 
 

predict:

from torchvision import datasets, transforms
import numpy as np
from PIL import Image
import torch
import torch.nn.functional as F
from cov01 import Model
 
classes = ('cat','dog')
 
if __name__ == '__main__':
    device = torch.device('cuda' if torch.cuda.is_available() else 'cpu')
    model = torch.load('model56')  # 加载模型
    model = model.to(device)
    model.eval()  # 把模型转为test模式
 
    img = Image.open("../dog.jpg")
 
    trans = transforms.Compose(
        [
            transforms.CenterCrop(32),
            transforms.ToTensor(),
            # transforms.Normalize(mean=(0.5, 0.5, 0.5), std=(0.5, 0.5, 0.5))
        ])
 
    img = trans(img)
    img = img.to(device)
    img = img.unsqueeze(0)  # 图片扩展多一维,因为输入到保存的模型中是4维的[batch_size,通道,长,宽],而普通图片只有三维,[通道,长,宽]
    # 扩展后,为[1,1,28,28]
    output = model(img)
    prob = F.softmax(output, dim=1)  # prob是10个分类的概率
    print(prob)
    value, predicted = torch.max(output.data, 1) #按照维度返回最大概率dim = 0 表示按列求最大值,并返回最大值的索引,dim = 1 表示按行求最大值,并返回最大值的索引
    print(predicted.item())
    print(value)
    pred_class = classes[predicted.item()]
    print(pred_class)

您可能感兴趣的与本文相关的镜像

PyTorch 2.6

PyTorch 2.6

PyTorch
Cuda

PyTorch 是一个开源的 Python 机器学习库,基于 Torch 库,底层由 C++ 实现,应用于人工智能领域,如计算机视觉和自然语言处理

评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值