第P3周：Pytorch实现天气识别

• 🍨 本文为🔗365天深度学习训练营中的学习记录博客
• 🍖 原作者：K同学啊
• 语言环境：Python3.8
• 编译器：jupyter notebook
• 深度学习环境：Pytorch
• 数据：🔗百度网盘（提取码：hqij ）（请不要对外公开数据集）

  一、 前期准备

  1. 设置GPU

  如果设备上支持GPU就使用GPU,否则使用CPU2. 导入数据2. 导入数据

• import torch
  import torch.nn as nn               #导入一些包
  import torchvision.transforms as transforms
  import torchvision
  from torchvision import transforms, datasets
  
  import os,PIL,pathlib,random
  #看一些运行的是GPU还是CPU
  device = torch.device("cuda" if torch.cuda.is_available() else "cpu") 
  
  device

  device(type='cuda') #如果你使用的是GPU

  2. 导入数据

• ​
  data_dir = './data/'   #我的数据集路径 C:\Users\Dell\data
  data_dir = pathlib.Path(data_dir)
  
  data_paths = list(data_dir.glob('*'))
  classeNames = [str(path).split("\\")[1] for path in data_paths]
  classeNames
  
  ​

  代码输出

• ['cloudy', 'rain', 'shine', 'sunrise']

• 第一步：使用pathlib.Path()函数将字符串类型的文件夹路径转换为pathlib.Path对象。
• 第二步：使用glob()方法获取data_dir路径下的所有文件路径，并以列表形式存储在data_paths中。
• 第三步：通过split()函数对data_paths中的每个文件路径执行分割操作，获得各个文件所属的类别名称，并存储在classeNames中
• 第四步：打印classeNames列表，显示每个文件所属的类别名称。

• import matplotlib.pyplot as plt
  from PIL import Image
  
  # 指定图像文件夹路径
  image_folder = './data/cloudy/'
  
  # 获取文件夹中的所有图像文件
  image_files = [f for f in os.listdir(image_folder) if f.endswith((".jpg", ".png", ".jpeg"))]
  
  # 创建Matplotlib图像
  fig, axes = plt.subplots(3, 8, figsize=(16, 6))
  
  # 使用列表推导式加载和显示图像
  for ax, img_file in zip(axes.flat, image_files):
      img_path = os.path.join(image_folder, img_file)
      img = Image.open(img_path)
      ax.imshow(img)
      ax.axis('off')
  
  # 显示图像
  plt.tight_layout()
  plt.show()

  

• total_datadir = './data/'
  
  # 关于transforms.Compose的更多介绍可以参考：https://blog.youkuaiyun.com/qq_38251616/article/details/124878863
  train_transforms = transforms.Compose([
      transforms.Resize([224, 224]),  # 将输入图片resize成统一尺寸
      transforms.ToTensor(),          # 将PIL Image或numpy.ndarray转换为tensor，并归一化到[0,1]之间
      transforms.Normalize(           # 标准化处理-->转换为标准正太分布（高斯分布），使模型更容易收敛
          mean=[0.485, 0.456, 0.406], 
          std=[0.229, 0.224, 0.225])  # 其中 mean=[0.485,0.456,0.406]与std=[0.229,0.224,0.225] 从数据集中随机抽样计算得到的。
  ])
  
  total_data = datasets.ImageFolder(total_datadir,transform=train_transforms)
  total_data

  Dataset ImageFolder
      Number of datapoints: 1125
      Root location: ./data/
      StandardTransform
  Transform: Compose(
                 Resize(size=[224, 224], interpolation=bilinear, max_size=None, antialias=None)
                 ToTensor()
                 Normalize(mean=[0.485, 0.456, 0.406], std=[0.229, 0.224, 0.225])
             )

  3. 划分数据集

• train_size = int(0.8 * len(total_data))
  test_size  = len(total_data) - train_size
  train_dataset, test_dataset = torch.utils.data.random_split(total_data, [train_size, test_size])
  train_dataset, test_dataset

  代码输出

• (<torch.utils.data.dataset.Subset at 0x1cd91e01ee0>,
   <torch.utils.data.dataset.Subset at 0x1cd91e01f70>)

• train_size表示训练集大小，通过将总体数据长度的80%转换为整数得到；
• test_size表示测试集大小，是总体数据长度减去训练集大小。

• 使用torch.utils.data.random_split()方法进行数据集划分。该方法将总体数据total_data按照指定的大小比例（[train_size, test_size]）随机划分为训练集和测试集，并将划分结果分别赋值给train_dataset和test_dataset两个变量。

• train_size,test_size

  代码输出

• (900, 225)

  batch_size = 32
  
  train_dl = torch.utils.data.DataLoader(train_dataset,
                                         batch_size=batch_size,
                                         shuffle=True,
                                         num_workers=1)
  test_dl = torch.utils.data.DataLoader(test_dataset,
                                        batch_size=batch_size,
                                        shuffle=True,
                                        num_workers=1)

  for X, y in test_dl:
      print("Shape of X [N, C, H, W]: ", X.shape)
      print("Shape of y: ", y.shape, y.dtype)
      break

  Shape of X [N, C, H, W]:  torch.Size([32, 3, 224, 224])
  Shape of y:  torch.Size([32]) torch.int64

  torch.utils.data.DataLoader 是 PyTorch 中用于加载和管理数据的一个实用工具类。它允许你以小批次的方式迭代你的数据集，这对于训练神经网络和其他机器学习任务非常有用。DataLoader 构造函数接受多个参数，下面是一些常用的参数及其解释：

• dataset（必需参数）：这是你的数据集对象，通常是 torch.utils.data.Dataset 的子类，它包含了你的数据样本。
• batch_size（可选参数）：指定每个小批次中包含的样本数。默认值为 1。
• shuffle（可选参数）：如果设置为 True，则在每个 epoch 开始时对数据进行洗牌，以随机打乱样本的顺序。这对于训练数据的随机性很重要，以避免模型学习到数据的顺序性。默认值为 False。
• num_workers（可选参数）：用于数据加载的子进程数量。通常，将其设置为大于 0 的值可以加快数据加载速度，特别是当数据集很大时。默认值为 0，表示在主进程中加载数据。
• pin_memory（可选参数）：如果设置为 True，则数据加载到 GPU 时会将数据存储在 CUDA 的锁页内存中，这可以加速数据传输到 GPU。默认值为 False。
• drop_last（可选参数）：如果设置为 True，则在最后一个小批次可能包含样本数小于 batch_size 时，丢弃该小批次。这在某些情况下很有用，以确保所有小批次具有相同的大小。默认值为 False。
• timeout（可选参数）：如果设置为正整数，它定义了每个子进程在等待数据加载器传递数据时的超时时间（以秒为单位）。这可以用于避免子进程卡住的情况。默认值为 0，表示没有超时限制。
• worker_init_fn（可选参数）：一个可选的函数，用于初始化每个子进程的状态。这对于设置每个子进程的随机种子或其他初始化操作很有用。

• 二、构建简单的CNN网络

• 对于一般的CNN网络来说，都是由特征提取网络和分类网络构成，其中特征提取网络用于提取图片的特征，分类网络用于将图片进行分类

• ⭐1. torch.nn.Conv2d()详解

  函数原型：

  torch.nn.Conv2d(in_channels, out_channels, kernel_size, stride=1, padding=0, dilation=1, groups=1, bias=True, padding_mode='zeros', device=None, dtype=None)

  关键参数说明：

• in_channels ( int ) – 输入图像中的通道数
• out_channels ( int ) – 卷积产生的通道数
• kernel_size ( int or tuple ) – 卷积核的大小
• stride ( int or tuple , optional ) -- 卷积的步幅。默认值：1
• padding ( int , tuple或str , optional ) – 添加到输入的所有四个边的填充。默认值：0
• padding_mode (字符串,可选) – 'zeros', 'reflect', 'replicate'或'circular'. 默认：'zeros'

• ⭐2. torch.nn.Linear()详解

  函数原型：

  torch.nn.Linear(in_features, out_features, bias=True, device=None, dtype=None)

  关键参数说明：

• in_features：每个输入样本的大小
• out_features：每个输出样本的大小

• ⭐3. torch.nn.MaxPool2d()详解

  函数原型：

  torch.nn.MaxPool2d(kernel_size, stride=None, padding=0, dilation=1, return_indices=False, ceil_mode=False)

  关键参数说明：

• kernel_size：最大的窗口大小
• stride：窗口的步幅，默认值为kernel_size
• padding：填充值，默认为0
• dilation：控制窗口中元素步幅的参数

• 大家注意一下在卷积层和全连接层之间，我们可以使用之前是torch.flatten()也可以使用我下面的x.view()亦或是torch.nn.Flatten()。torch.nn.Flatten()与TensorFlow中的Flatten()层类似，前两者则仅仅是一种数据集拉伸操作（将二维数据拉伸为一维），torch.flatten()方法不会改变x本身，而是返回一个新的张量。而x.view()方法则是直接在原有数据上进行操作。

• 网络结构图（可单击放大查看）：

• 

  上面的网络数据shape变化过程为：

  3, 224, 224（输入数据）
  -> 12, 220, 220（经过卷积层1）
  -> 12, 216, 216（经过卷积层2）-> 12, 108, 108（经过池化层1）
  -> 24, 104, 104（经过卷积层3）

  -> 24, 100, 100（经过卷积层4）-> 24, 50, 50（经过池化层2）
  -> 60000 -> num_classes(4)

  请根据【卷积层的计算】与【池化层的计算】这两篇文章手动推导这个过程。

• import torch.nn.functional as F
  
  class Network_bn(nn.Module):
      def __init__(self):
          super(Network_bn, self).__init__()
          """
          nn.Conv2d()函数：
          第一个参数（in_channels）是输入的channel数量
          第二个参数（out_channels）是输出的channel数量
          第三个参数（kernel_size）是卷积核大小
          第四个参数（stride）是步长，默认为1
          第五个参数（padding）是填充大小，默认为0
          """
          self.conv1 = nn.Conv2d(in_channels=3, out_channels=12, kernel_size=5, stride=1, padding=0)
          self.bn1 = nn.BatchNorm2d(12)
          self.conv2 = nn.Conv2d(in_channels=12, out_channels=12, kernel_size=5, stride=1, padding=0)
          self.bn2 = nn.BatchNorm2d(12)
          self.pool1 = nn.MaxPool2d(2,2)
          self.conv4 = nn.Conv2d(in_channels=12, out_channels=24, kernel_size=5, stride=1, padding=0)
          self.bn4 = nn.BatchNorm2d(24)
          self.conv5 = nn.Conv2d(in_channels=24, out_channels=24, kernel_size=5, stride=1, padding=0)
          self.bn5 = nn.BatchNorm2d(24)
          self.pool2 = nn.MaxPool2d(2,2)
          self.fc1 = nn.Linear(24*50*50, len(classeNames))
  
      def forward(self, x):
          x = F.relu(self.bn1(self.conv1(x)))      
          x = F.relu(self.bn2(self.conv2(x)))     
          x = self.pool1(x)                        
          x = F.relu(self.bn4(self.conv4(x)))     
          x = F.relu(self.bn5(self.conv5(x)))  
          x = self.pool2(x)                        
          x = x.view(-1, 24*50*50)
          x = self.fc1(x)
  
          return x
  
  device = "cuda" if torch.cuda.is_available() else "cpu"
  print("Using {} device".format(device))
  
  model = Network_bn().to(device)
  model

  Using cuda device
  
  Network_bn(
    (conv1): Conv2d(3, 12, kernel_size=(5, 5), stride=(1, 1))
    (bn1): BatchNorm2d(12, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)
    (conv2): Conv2d(12, 12, kernel_size=(5, 5), stride=(1, 1))
    (bn2): BatchNorm2d(12, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)
    (pool): MaxPool2d(kernel_size=2, stride=2, padding=0, dilation=1, ceil_mode=False)
    (conv4): Conv2d(12, 24, kernel_size=(5, 5), stride=(1, 1))
    (bn4): BatchNorm2d(24, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)
    (conv5): Conv2d(24, 24, kernel_size=(5, 5), stride=(1, 1))
    (bn5): BatchNorm2d(24, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)
    (fc1): Linear(in_features=60000, out_features=4, bias=True)
  )

  三、 训练模型

• 1. 设置超参数

• loss_fn    = nn.CrossEntropyLoss() # 创建损失函数
  learn_rate = 1e-4 # 学习率
  opt        = torch.optim.SGD(model.parameters(),lr=learn_rate)

  2. 编写训练函数

• 
  1. optimizer.zero_grad()
  
  函数会遍历模型的所有参数，通过内置方法截断反向传播的梯度流，再将每个参数的梯度值设为0，即上一次的梯度记录被清空。
  
  2. loss.backward()
  
  PyTorch的反向传播(即tensor.backward())是通过autograd包来实现的，autograd包会根据tensor进行过的数学运算来自动计算其对应的梯度。
  
  具体来说，torch.tensor是autograd包的基础类，如果你设置tensor的requires_grads为True，就会开始跟踪这个tensor上面的所有运算，如果你做完运算后使用tensor.backward()，所有的梯度就会自动运算，tensor的梯度将会累加到它的.grad属性里面去。
  
  更具体地说，损失函数loss是由模型的所有权重w经过一系列运算得到的，若某个w的requires_grads为True，则w的所有上层参数（后面层的权重w）的.grad_fn属性中就保存了对应的运算，然后在使用loss.backward()后，会一层层的反向传播计算每个w的梯度值，并保存到该w的.grad属性中。
  
  如果没有进行tensor.backward()的话，梯度值将会是None，因此loss.backward()要写在optimizer.step()之前。
  
  3. optimizer.step()
  
  step()函数的作用是执行一次优化步骤，通过梯度下降法来更新参数的值。因为梯度下降是基于梯度的，所以在执行optimizer.step()函数前应先执行loss.backward()函数来计算梯度。
  
  注意：optimizer只负责通过梯度下降进行优化，而不负责产生梯度，梯度是tensor.backward()方法产生的。

• # 训练循环
  def train(dataloader, model, loss_fn, optimizer):
      size = len(dataloader.dataset)  # 训练集的大小，一共60000张图片
      num_batches = len(dataloader)   # 批次数目，1875（60000/32）
  
      train_loss, train_acc = 0, 0  # 初始化训练损失和正确率
      
      for X, y in dataloader:  # 获取图片及其标签
          X, y = X.to(device), y.to(device)
          
          # 计算预测误差
          pred = model(X)          # 网络输出
          loss = loss_fn(pred, y)  # 计算网络输出和真实值之间的差距，targets为真实值，计算二者差值即为损失
          
          # 反向传播
          optimizer.zero_grad()  # grad属性归零
          loss.backward()        # 反向传播
          optimizer.step()       # 每一步自动更新
          
          # 记录acc与loss
          train_acc  += (pred.argmax(1) == y).type(torch.float).sum().item()
          train_loss += loss.item()
              
      train_acc  /= size
      train_loss /= num_batches
  
      return train_acc, train_loss

  3. 编写测试函数

• 测试函数和训练函数大致相同，但是由于不进行梯度下降对网络权重进行更新，所以不需要传入优化器

• def test (dataloader, model, loss_fn):
      size        = len(dataloader.dataset)  # 测试集的大小，一共10000张图片
      num_batches = len(dataloader)          # 批次数目，313（10000/32=312.5，向上取整）
      test_loss, test_acc = 0, 0
      
      # 当不进行训练时，停止梯度更新，节省计算内存消耗
      with torch.no_grad():
          for imgs, target in dataloader:
              imgs, target = imgs.to(device), target.to(device)
              
              # 计算loss
              target_pred = model(imgs)
              loss        = loss_fn(target_pred, target)
              
              test_loss += loss.item()
              test_acc  += (target_pred.argmax(1) == target).type(torch.float).sum().item()
  
      test_acc  /= size
      test_loss /= num_batches
  
      return test_acc, test_loss

  4. 正式训练

• 1. model.train()

  model.train()的作用是启用 Batch Normalization 和 Dropout。

  如果模型中有BN层(Batch Normalization）和Dropout，需要在训练时添加model.train()。model.train()是保证BN层能够用到每一批数据的均值和方差。对于Dropout，model.train()是随机取一部分网络连接来训练更新参数。

  2. model.eval()

  model.eval()的作用是不启用 Batch Normalization 和 Dropout。

  如果模型中有BN层(Batch Normalization）和Dropout，在测试时添加model.eval()。model.eval()是保证BN层能够用全部训练数据的均值和方差，即测试过程中要保证BN层的均值和方差不变。对于Dropout，model.eval()是利用到了所有网络连接，即不进行随机舍弃神经元。

• 训练完train样本后，生成的模型model要用来测试样本。在model(test)之前，需要加上model.eval()，否则的话，有输入数据，即使不训练，它也会改变权值。这是model中含有BN层和Dropout所带来的的性质。

• epochs     = 20
  train_loss = []
  train_acc  = []
  test_loss  = []
  test_acc   = []
  
  for epoch in range(epochs):
      model.train()
      epoch_train_acc, epoch_train_loss = train(train_dl, model, loss_fn, opt)
      
      model.eval()
      epoch_test_acc, epoch_test_loss = test(test_dl, model, loss_fn)
      
      train_acc.append(epoch_train_acc)
      train_loss.append(epoch_train_loss)
      test_acc.append(epoch_test_acc)
      test_loss.append(epoch_test_loss)
      
      template = ('Epoch:{:2d}, Train_acc:{:.1f}%, Train_loss:{:.3f}, Test_acc:{:.1f}%，Test_loss:{:.3f}')
      print(template.format(epoch+1, epoch_train_acc*100, epoch_train_loss, epoch_test_acc*100, epoch_test_loss))
  print('Done')

  输出：

• Epoch: 1, Train_acc:57.3%, Train_loss:1.039, Test_acc:64.9%，Test_loss:1.011
  Epoch: 2, Train_acc:76.7%, Train_loss:0.684, Test_acc:80.9%，Test_loss:0.574
  Epoch: 3, Train_acc:81.8%, Train_loss:0.556, Test_acc:85.8%，Test_loss:0.444
  Epoch: 4, Train_acc:84.9%, Train_loss:0.493, Test_acc:89.3%，Test_loss:0.411
  Epoch: 5, Train_acc:85.6%, Train_loss:0.436, Test_acc:88.4%，Test_loss:0.406
  Epoch: 6, Train_acc:87.7%, Train_loss:0.404, Test_acc:88.9%，Test_loss:0.385
  Epoch: 7, Train_acc:87.2%, Train_loss:0.453, Test_acc:87.6%，Test_loss:0.483
  Epoch: 8, Train_acc:89.6%, Train_loss:0.368, Test_acc:83.6%，Test_loss:0.335
  Epoch: 9, Train_acc:89.1%, Train_loss:0.348, Test_acc:92.0%，Test_loss:0.279
  Epoch:10, Train_acc:90.4%, Train_loss:0.317, Test_acc:88.9%，Test_loss:0.297
  Epoch:11, Train_acc:91.1%, Train_loss:0.329, Test_acc:90.2%，Test_loss:0.645
  Epoch:12, Train_acc:91.7%, Train_loss:0.283, Test_acc:91.1%，Test_loss:0.318
  Epoch:13, Train_acc:92.1%, Train_loss:0.264, Test_acc:92.4%，Test_loss:0.246
  Epoch:14, Train_acc:92.4%, Train_loss:0.252, Test_acc:91.6%，Test_loss:0.245
  Epoch:15, Train_acc:91.9%, Train_loss:0.261, Test_acc:90.7%，Test_loss:0.269
  Epoch:16, Train_acc:94.9%, Train_loss:0.232, Test_acc:92.0%，Test_loss:0.227
  Epoch:17, Train_acc:93.7%, Train_loss:0.226, Test_acc:92.4%，Test_loss:0.290
  Epoch:18, Train_acc:93.3%, Train_loss:0.222, Test_acc:89.8%，Test_loss:0.253
  Epoch:19, Train_acc:93.8%, Train_loss:0.240, Test_acc:92.9%，Test_loss:0.225
  Epoch:20, Train_acc:94.9%, Train_loss:0.206, Test_acc:92.9%，Test_loss:0.363
  Done

• 四、 结果可视化

• import matplotlib.pyplot as plt
  #隐藏警告
  import warnings
  warnings.filterwarnings("ignore")               #忽略警告信息
  plt.rcParams['font.sans-serif']    = ['SimHei'] # 用来正常显示中文标签
  plt.rcParams['axes.unicode_minus'] = False      # 用来正常显示负号
  plt.rcParams['figure.dpi']         = 100        #分辨率
  
  epochs_range = range(epochs)
  
  plt.figure(figsize=(12, 3))
  plt.subplot(1, 2, 1)
  
  plt.plot(epochs_range, train_acc, label='Training Accuracy')
  plt.plot(epochs_range, test_acc, label='Test Accuracy')
  plt.legend(loc='lower right')
  plt.title('Training and Validation Accuracy')
  
  plt.subplot(1, 2, 2)
  plt.plot(epochs_range, train_loss, label='Training Loss')
  plt.plot(epochs_range, test_loss, label='Test Loss')
  plt.legend(loc='upper right')
  plt.title('Training and Validation Loss')
  plt.show()

  

• 在b站上看到一个‘手把手带你从0开始搭建CNN卷积神经网络，代码逐行按小白角度讲解’的视频感觉有点用。