不一定从零开始的CNN分类项目（数据集、训练、分类、混淆矩阵）

大翔帝国

已于 2023-04-19 00:55:52 修改

阅读量546

点赞数 2

CC 4.0 BY-SA版权

文章标签： cnn 分类神经网络深度学习 python

于 2023-04-19 00:25:50 首次发布

本文链接：https://blog.youkuaiyun.com/qq_46683669/article/details/130234265

本文档详细记录了一个CNN图像分类项目的全过程，包括数据集制作、网络结构定义、训练与测试函数的编写，以及如何利用混淆矩阵评估模型性能。作者提醒注意数据集格式，并分享了完整代码，旨在帮助初学者避免常见问题。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

首先声明，本人菜狗，做毕设第一次接触相关项目，代码也是多处缝合，发帖纯为经验分享，防止走过的坑别人再走一遍，有错误欢迎大佬评论区指正
该项目数据集为灰度图，训练RGB图的得改代码

CNN算法文档

一、训练

1、数据集制作

对于文件存放格式为：

|dataset

|-------|class1

|-----------------|111.jpg

|-----------------|222.jpg

|-------|class2

|-----------------|112.jpg

|-----------------|212.jpg

这种的数据集，可以使用ImageFolder函数加载，不是这样的数据集的话，可以自己写Dataset，或者把数据集处理一下成上述形式

from torch.utils.data import DataLoader
from torchvision import transforms as T
# 需要做的变换方式，上述做了个灰度、转化为tensor、归一化
transform  = T.Compose([
        T.Grayscale(),
        T.ToTensor(),
        T.Normalize(mean,std),
])
# 训练集测试集分开加载（预处理？）
dataset_train = ImageFolder('D:\CNN_TEST\\train_dataset', transform=transform)
dataset_test = ImageFolder('D:\CNN_TEST\\test_dataset', transform=transform)

#再用Dataloader函数加载预处理好的数据集
train_loader = DataLoader(dataset_train, batch_size=batch_size, shuffle=True)
test_loader = DataLoader(dataset_test, batch_size=batch_size, shuffle=False)
#batch_size自己设置，shuffle是是否随机加载

2、定义网络结构

class Net(torch.nn.Module):
    def __init__(self):
        super(Net, self).__init__()
        self.conv1 = torch.nn.Conv2d(1, 10, kernel_size=5, padding=(2, 2), stride=1)
        self.conv2 = torch.nn.Conv2d(10, 20, kernel_size=5, padding=(2, 2), stride=1)
        self.pooling = torch.nn.MaxPool2d(2)
        self.fc1 = torch.nn.Linear(5120, 1280)
        self.fc2 = torch.nn.Linear(1280, 240)
        self.fc3 = torch.nn.Linear(240, 10)

    def forward(self, x):


        batch_size = x.size(0)
        x = F.relu(self.pooling(self.conv1(x)))
        x = F.relu(self.pooling(self.conv2(x)))
        x = x.view(batch_size, -1)  # -1 此处自动算出的是320
        # print("x.shape",x.shape)
        x = F.relu(self.fc1(x))
        x = F.relu(self.fc2(x))
        x = self.fc3(x)
        return x

不多说，我的结构如图（分几类最后全连接层就是几），根据不同的分类任务可以自己写相应网络

在这里插入图片描述

3、定义训练函数

# 载入模型，使用GPU
model = Net()
device = torch.device("cuda" if torch.cuda.is_available() else "cpu")
model.to(device)

# 损失函数和优化器设置，注意学习率在这里设，也
criterion = torch.nn.CrossEntropyLoss()
optimizer = optim.SGD(model.parameters(), lr=0.01, momentum=0.5)

def train(epoch):
    running_loss = 0.0
    for batch_idx, data in enumerate(train_loader, 0):
        inputs, target = data
        # inputs = Variable(torch.unsqueeze(inputs, dim=0).float(), requires_grad=False)
        # inputs.reshape(64, 1, 64, 64)
        # print(inputs.shape)
        # print(target, batch_idx)
        inputs, target = inputs.to(device), target.to(device)
        optimizer.zero_grad()

        outputs = model(inputs)
        loss = criterion(outputs, target)
        loss.backward()
        optimizer.step()


        running_loss += loss.item()
        if batch_idx % 118 == 117:
            print('[%d, %5d] loss: %.3f' % (epoch + 1, batch_idx + 1, running_loss / 118))
            #上面几行不对可以优化但不影响训练我懒得改了
            running_loss = 0.0

4、定义测试函数

def test():
    correct = 0
    total = 0
    with torch.no_grad():
        for data in test_loader:
            images, labels = data
            images, labels = images.to(device), labels.to(device)
            outputs = model(images)
            _, predicted = torch.max(outputs.data, dim=1)
            total += labels.size(0)
            correct += (predicted == labels).sum().item()
    print('accuracy on test set: %d %% ' % (100 * correct / total))
    return correct / total

5、主函数

if __name__ == '__main__':
    epoch_list = []
    acc_list = []

    for epoch in range(50):
        train(epoch)
        acc = test()
        epoch_lis