pytorch手写识别学习

• 🍨 本文为🔗365天深度学习训练营中的学习记录博客
• 🍖 原作者：K同学啊

• 1.设置gpu，macbook不支持只能使用cpu

• 2.导入数据

  train_ds = torchvision.datasets.MNIST(
      root='/Users/qiang/PycharmProjects/PythonProject3/data',                      # 替换为你的数据集路径
      train=True,
      transform=transforms.ToTensor(),
      download=False                    # 设置为 False，不再自动下载
  )

  test_ds = torchvision.datasets.MNIST(
      root='/Users/qiang/PycharmProjects/PythonProject3/data',                      # 替换为你的数据集路径
      train=False,
      transform=transforms.ToTensor(),
      download=False                    # 设置为 False，不再自动下载
  ) 

  batch_size = 32

  train_dl = torch.utils.data.DataLoader(train_ds,#torch.utils.data.DataLoader数据加载器其中batch_size为每批
                                         #加载多少数据，shuffle=true代表数据随机打乱，num_workers=4可以设置同时加载个数
                                         batch_size=batch_size,
                                         shuffle=True)

  test_dl  = torch.utils.data.DataLoader(test_ds,
                                         batch_size=batch_size)

  imgs, labels = next(iter(train_dl))#iter表示把数据加载转换为迭代，next表示取下一次给imgs，labels
  print(imgs.shape)#for imgs, labels in train_dl:

• 正常直接下载数据时会报错，采取把数据下载到本地然后把该数据移动到project文件夹里，这里通过后续尝试后，只要移动到project里了，可以直接使用相对路径，把root=相对路径即可，不需要使用绝对路径。

• 然后加载数据时用的dataloader，其中参数shuffle控制的是数据的随机性，当shuffle=False时数据不再变化 

• imgs，lables一个记录图像，一个记录标签。

• 3.数据可视化

• import numpy as np

  # 指定图片大小，图像大小为20宽、5高的绘图(单位为英寸inch)
  plt.figure(figsize=(20, 5))
  for i, imgs in enumerate(imgs[:20]):
      # 维度缩减
      npimg = np.squeeze(imgs.numpy())
      plt.subplot(2, 10, i + 1)#图像大小 # 将整个figure分成2行10列，绘制第i+1个子图。
      plt.imshow(npimg, cmap=plt.cm.binary)  #nping提供一个能够代表颜色的数组
      #cmap颜色背景#plt.cm.binary黑白图像展示
      plt.axis('off') #关掉坐标轴
  plt.show()

• 这里plt.c,.binary换成不同的代码可以换成不同颜色，下图是彩色的

• 4.构建CNN网络

• import torch.nn.functional as F

  num_classes = 10  # 图片的类别数

  class Model(nn.Module):
      def __init__(self):
          super().__init__()
          # 特征提取网络
          self.conv1 = nn.Conv2d(1, 32, kernel_size=3)  # 第一层卷积,  卷积核大小为3*3#在没有填充时通过卷积，图像尺寸会变小，因为边缘的数据无法读取
          self.pool1 = nn.MaxPool2d(2)  # 设置池化层，池化核大小为2*2
          self.conv2 = nn.Conv2d(32, 64, kernel_size=3)  # 第二层卷积,卷积核大小为3*3
          self.pool2 = nn.MaxPool2d(2)

          # 分类网络
          self.fc1 = nn.Linear(1600, 64)
          self.fc2 = nn.Linear(64, num_classes)

      # 前向传播
      def forward(self, x):
          x = self.pool1(F.relu(self.conv1(x)))
          x = self.pool2(F.relu(self.conv2(x)))

          x = torch.flatten(x, start_dim=1)

          x = F.relu(self.fc1(x))
          x = self.fc2(x)

          return x

• from torchinfo import summary
      # 将模型转移到GPU中（我们模型运行均在GPU中进行）
  device = torch.device('cuda' if torch.cuda.is_available() else 'cpu')
  model = Model().to(device)
  summary(model)

• 首先特征提取网络对卷积层池化层初始化，前向传播时传入x，F.relu调用激活函数，先卷积后池化，把图片中的最突出特征识别出来

• 5.训练函数以及测试函数

• def train(dataloader, model, loss_fn, optimizer):
      size = len(dataloader.dataset)  # 训练集的大小，一共60000张图片
      num_batches = len(dataloader)  # 批次数目，1875（60000/32）
      train_loss, train_acc = 0, 0  # 初始化训练损失和正确率
      for X, y in dataloader:  # 获取图片及其标签
          X, y = X.to(device), y.to(device)
          # 计算预测误差
          pred = model(X)  # 网络输出
          loss = loss_fn(pred, y)  # 计算网络输出和真实值之间的差距，targets为真实值，计算二者差值即为损失

          # 反向传播
          optimizer.zero_grad()  # grad属性归零
          loss.backward()  # 反向传播
          optimizer.step()  # 每一步自动更新

          # 记录acc与loss
          train_acc += (pred.argmax(1) == y).type(torch.float).sum().item()#pred.argmax预测最大概率的数在列表的第几个位置上（1）表示从第一个位置开始，==y和真实数据标签进行比较，如果正确输出True，而type则是对刚刚的结果转换成浮点型，也就是True会变成1.0，而sum().item()则转化为计算机可识别的信息

•         train_loss += loss.item()

      train_acc /= size
      train_loss /= num_batches

      return train_acc, train_loss

  def test(dataloader, model, loss_fn):
      size = len(dataloader.dataset)  # 测试集的大小，一共10000张图片
      num_batches = len(dataloader)  # 批次数目，313（10000/32=312.5，向上取整）
      test_loss, test_acc = 0, 0

      # 当不进行训练时，停止梯度更新，节省计算内存消耗
      with torch.no_grad():#禁用梯度计算with表示上下文管理器
          for imgs, target in dataloader:
              imgs, target = imgs.to(device), target.to(device)

              # 计算loss
              target_pred = model(imgs)
              loss = loss_fn(target_pred, target)

              test_loss += loss.item()
              test_acc += (target_pred.argmax(1) == target).type(torch.float).sum().item()

      test_acc /= size
      test_loss /= num_batches

      return test_acc, test_loss

• 这里训练和测试几乎没什么区别，测试时不需要反向传播更改梯度了。

• 6.正式训练

• epochs = 5
  train_loss = []#通过列表初始化训练测试损失和准确率
  train_acc = []
  test_loss = []
  test_acc = []

  for epoch in range(epochs):#添加数据并打印数据
      model.train()
      epoch_train_acc, epoch_train_loss = train(train_dl, model, loss_fn, opt)

      model.eval()
      epoch_test_acc, epoch_test_loss = test(test_dl, model, loss_fn)

      train_acc.append(epoch_train_acc)
      train_loss.append(epoch_train_loss)
      test_acc.append(epoch_test_acc)
      test_loss.append(epoch_test_loss)

      template = ('Epoch:{:2d}, Train_acc:{:.1f}%, Train_loss:{:.3f}, Test_acc:{:.1f}%，Test_loss:{:.3f}')
      print(template.format(epoch + 1, epoch_train_acc * 100, epoch_train_loss, epoch_test_acc * 100, epoch_test_loss))
  print('Done')

• 进行五次训练，每次训练输出一个训练和测试的准确率以及损失函数

• 7.结果可视化

• import matplotlib.pyplot as plt
  #隐藏警告
  import warnings
  warnings.filterwarnings("ignore")               #忽略警告信息
  plt.rcParams['axes.unicode_minus'] = False      # 用来正常显示负号
  plt.rcParams['figure.dpi']         = 100

  epochs_range = range(epochs)#横坐标变化范围

  plt.figure(figsize=(12, 3))#两幅图的大小
  plt.subplot(1, 2, 1)#表明要绘制1行两幅图，选择第一幅图

  plt.plot(epochs_range, train_acc, label='Training Accuracy')#绘制第一份图x，y,以及图像名训练准确率
  plt.plot(epochs_range, test_acc, label='Test Accuracy')#测试准确率
  plt.legend(loc='lower right')
  plt.title('Training and Validation Accuracy')

• plt.subplot(1, 2, 2)
  plt.plot(epochs_range, train_loss, label='Training Loss')
  plt.plot(epochs_range, test_loss, label='Test Loss')
  plt.legend(loc='upper right')
  plt.title('Training and Validation Loss')
  from matplotlib import rcParams
  plt.show()

• 

7.遇到的问题 

macbook在最后绘图时，字体出现问题，尝试多种方法还没有解决，很多字体会报错,我的解决方法是直接把字体那一行删掉了。