《迁移学习》—— 将 ResNet18 模型迁移到食物分类项目中

一、迁移学习的简单介绍

1.迁移学习是什么？

• 迁移学习是指利用已经训练好的模型，在新的任务上进行微调。
• 迁移学习可以加快模型训练速度，提高模型性能，并且在数据稀缺的情况下也能很好地工作。

2.迁移学习的步骤

• （1） 选择预训练的模型和适当的层：通常，我们会选择在大规模图像数据集（如ImageNet）上预训练的模型，如VGG、ResNet等。然后，根据新数据集的特点，选择需要微调的模型层。对于低级特征的任务（如边缘检测），最好使用浅层模型的层，而对于高级特征的任务（如分类），则应选择更深层次的模型。
• （2） 冻结预训练模型的参数：保持预训练模型的权重不变，只训练新增加的层或者微调一些层，避免因为在数据集中过拟合导致预训练模型过度拟合。
• （3） 在新数据集上训练新增加的层：在冻结预训练模型的参数情况下，训练新增加的层。这样，可以使新模型适应新的任务，从而获得更高的性能。
• （4） 微调预训练模型的层：在新层上进行训练后，可以解冻一些已经训练过的层，并且将它们作为微调的目标。这样做可以提高模型在新数据集上的性能。
• （5） 评估和测试：在训练完成之后，使用测试集对模型进行评估。如果模型的性能仍然不够好，可以尝试调整超参数或者更改微调层。

二、数据集介绍

• 下图是数据集的结构
  • 在 food_dataset2 文件夹下含有训练数据和测试数据
  • 训练集和测试集数据中都含有 20 种食物图片，数量在200~400不等
  • trainda.txt 和 testda.txt 文本中存放了每张图片的路径及标签，用 0~19 这20个数字分别对20种食物进行标签
  • 在代码中通过trainda.txt 和 testda.txt 文本中的内容来获取每张图片及对应的标签
    
  • 下面是trainda.txt文本中的部分内容（testda.txt 中的内容格式相同）
    
• 送福利！！！ 私信送此数据集 ！！！

三、代码实现

1. 步骤

• 1.调用resnet18模型，并保存需要训练的模型参数
• 2.定义一个图像预处理和数据增强字典
• 3.定义获取每张食物图片和标签的类方法
• 4.获取训练集和测试集数据
• 5.对数据集进行打包
• 6.调用交叉熵损失函数并创建优化器
• 7.定义训练模型的函数
• 8.定义测试模型的函数
• 9.训练模型，并每训练一轮测试一次

2.所用到方法介绍的文章链接

• ResNet 残差网络神经网络
  • https://blog.youkuaiyun.com/weixin_73504499/article/details/142575775?spm=1001.2014.3001.5501
• 数据增强
  • https://blog.youkuaiyun.com/weixin_73504499/article/details/142499263?spm=1001.2014.3001.5501
• 调整学习率
  • https://blog.youkuaiyun.com/weixin_73504499/article/details/142526863?spm=1001.2014.3001.5501

3. 完整代码

import torch
	import torchvision.models as models  # 导入存有各种深度学习模型的模块
	from torch import nn  # 导入神经网络模块
	from torch.utils.data import Dataset, DataLoader  # Dataset： 抽象类，一种用于获取数据的方法  DataLoader：数据包管理工具，打包数据
	from torchvision import transforms  # transforms模块提供了一系列用于图像预处理和数据增强的函数和类
	from PIL import Image  # 用于处理图片
	import numpy as np
	
	""" 调用resnet18模型 """
	resnet_model = models.resnet18(weights=models.ResNet18_Weights.DEFAULT)
	
	for param in resnet_model.parameters():
	    param.requires_grad = False
	# 模型所有参数(即权重和偏差)的 requires_grad 属性设置成 False，从而冻结所有模型参数
	# 使得在反向传播过程中不会计算他们的梯度，从此减少模型的计算量，提高推理速度
	
	in_features = resnet_model.fc.in_features  # 获取resnet18模型全连接层原输入的特征个数
	resnet_model.fc = nn.Linear(in_features, 20)  # 创建一个全连接层输入特征个数为： in_features  输出特征个数为：数据集中事务的种类数量
	
	params_to_update = []  # 保存需要训练的参数，仅仅包含全连接层的参数
	for param in resnet_model.parameters():
	    if param.requires_grad ==