昇思MindSpore学习总结十——ResNet50迁移学习

1、迁移学习

（抄自CS231n Convolutional Neural Networks for Visual Recognition）

        在实践中，很少有人从头开始训练整个卷积网络（使用随机初始化），因为拥有足够大小的数据集相对罕见。相反，通常会在非常大的数据集上预训练 ConvNet（例如 ImageNet，其中包含 120 万张图像和 1000 个类别），然后将 ConvNet 用作初始化或固定特征提取器来执行感兴趣的任务。三个主要的迁移学习方案如下所示：

• ConvNet 作为固定特征提取器。在 ImageNet 上预训练 ConvNet，删除最后一个全连接层（该层的输出是 ImageNet 等不同任务的 1000 个类分数），然后将 ConvNet 的其余部分视为新数据集的固定特征提取器。在 AlexNet 中，这将为每个图像计算一个 4096-D 向量，该图像包含紧接在分类器之前的隐藏层的激活。我们将这些特征称为 CNN 代码。对于性能来说，如果这些代码在 ImageNet 上训练 ConvNet 期间也被阈值化（通常情况如此），那么这些代码是 ReLUd（即阈值为零）是很重要的。提取所有图像的 4096-D 代码后，为新数据集训练线性分类器（例如线性 SVM 或 Softmax 分类器）。
• 微调 ConvNet。第二种策略是，不仅要在新数据集上替换和重新训练ConvNet上的分类器，还要通过继续反向传播来微调预训练网络的权重。可以对 ConvNet 的所有层进行微调，也可以将一些早期的层固定（由于过度拟合问题）并仅微调网络的某些更高级别的部分。这是由于观察到 ConvNet 的早期特征包含更通用的特征（例如边缘检测器或颜色斑点检测器），这些特征应该对许多任务有用，但 ConvNet 的后续层逐渐变得更加特定于原始数据集中包含的类的详细信息。例如，对于包含许多犬种的 ImageNet，ConvNet 的很大一部分表示能力可能专门用于区分犬种的功能。
• 预训练模型。由于现代 ConvNet 需要 2-3 周的时间才能在 ImageNet 上的多个 GPU 上进行训练，因此通常会看到人们发布最终的 ConvNet 检查点，以造福其他可以使用网络进行微调的人。例如，Caffe 库有一个模型动物园，人们可以在其中共享他们的网络权重。

 2、数据准备

        下载案例所用到的狗与狼分类数据集，数据集中的图像来自于ImageNet，每个分类有大约120张训练图像与30张验证图像。使用download接口下载数据集，并将下载后的数据集自动解压到当前目录下。

from download import download

dataset_url = "https://mindspore-website.obs.cn-north-4.myhuaweicloud.com/notebook/datasets/intermediate/Canidae_data.zip"

download(dataset_url, "./datasets-Canidae", kind="zip", replace=True)

3、加载数据集

         狼狗数据集提取自ImageNet分类数据集，使用mindspore.dataset.ImageFolderDataset接口来加载数据集，并进行相关图像增强操作。

#定义输入
batch_size = 18                             # 批量大小
image_size = 224                            # 训练图像空间大小
num_epochs = 5                             # 训练周期数
lr = 0.001                                  # 学习率
momentum = 0.9                              # 动量
workers = 4                                 # 并行线程个数

import mindspore as ms
import mindspore.dataset as ds
import mindspore.dataset.vision as vision

# 数据集目录路径
data_path_train = "./datasets-Canidae/data/Canidae/train/"
data_path_val = "./datasets-Canidae/data/Canidae/val/"

# 创建训练数据集

def create_dataset_canidae(dataset_path, usage):
    """数据加载"""
    data_set = ds.ImageFolderDataset(dataset_path,
                                     num_parallel_workers=workers,
                                     shuffle=True,)

    # 数据增强操作
    mean = [0.485 * 255, 0.456 * 255, 0.406 * 255]
    std = [0.229 * 255, 0.224 * 255, 0.225 * 255]
    scale = 32

    if usage == "train":
        # Define map operations for training dataset
        trans = [
            vision.RandomCropDecodeResize(size=image_size, scale=(0.08, 1.0), ratio=(0.75, 1.333)),
            vision.RandomHorizontalFlip(pro