47、迁移学习：原理、策略与应用

迁移学习：原理、策略与应用

1. 迁移学习基础

1.1 特征通用性与输入要求

迁移学习的一个重要前提是，如果从第一个任务中学到的特征具有通用性，那么它们可以用于另一个相关任务。同时，模型的输入需要与最初训练时的大小相同。若不满足此条件，需将输入调整为所需大小。可以访问 pretrained.ml，这里提供了可排序和搜索的预训练深度学习模型列表，还有演示和代码。

1.2 迁移学习的方法

1.2.1 训练模型以复用

当解决任务 A 时，如果训练深度神经网络的数据有限，可以寻找一个数据丰富的相关任务 B。先在任务 B 上训练深度神经网络，然后使用相同的模型来解决任务 A。是使用整个模型还是仅使用模型的几层，取决于具体问题。若两个任务的输入相同，则复用模型；否则，在使用模型之前对特定任务的层进行一些更改。

1.2.2 使用预训练模型

使用预训练模型时，需要进行研究以从所有可用选项中选择最佳模型。同样，是复用整个模型还是重新训练特定任务的几层，取决于要解决的问题。例如，Keras 提供了许多可用于迁移学习、预测、特征提取和微调的预训练模型。一些流行的预训练机器学习模型包括 Inception - v3 模型，它在 ImageNet 上进行训练，可将图像分类为 1000 个类别，如“斑马”、“大麦町犬”和“洗碗机”。Microsoft 也提供了一些可与 R 和 Python 一起使用的预训练模型，开发者只需集成 MicrosoftML R 和 Microsoftml Python 包。其他常用模型还有 ResNet 和 AlexNet。需要注意的是，越想从预训练模型继承特征，就越需要冻结层。 </