19、高级主动学习中的主动迁移学习策略解析

高级主动学习中的主动迁移学习策略解析

在机器学习领域，主动学习是一种高效利用数据的方法，而主动迁移学习则为主动学习带来了新的活力。本文将详细介绍主动迁移学习在不确定性采样、代表性采样以及自适应采样中的应用，同时分析其优缺点，并提供相关代码示例。

1. 不确定性采样的主动迁移学习

在构建更复杂的主动迁移学习架构时，例如图 5.8 所示的架构，仅需添加几行额外的代码。首先，用于预测“正确”或“错误”的新模型需要一个隐藏层。然后，该新模型会从多个隐藏层提取特征，将不同层的向量拼接成一个扁平向量，这个向量就成为新模型的特征。

如果熟悉自然语言处理（NLP）的上下文模型或计算机视觉的卷积模型，这个过程并不陌生，其实就是从网络的多个部分提取神经元的激活值，并将其展平为一个长特征向量，这个向量通常被称为表示。

不过，能构建更复杂的模型并不意味着就应该这么做。如果没有大量的验证数据，复杂模型更容易过拟合。训练单个新输出神经元时，更容易避免训练误差。因此，应根据数据量和二元预测任务的常规需求，凭直觉判断模型的复杂程度。

主动迁移学习具有以下优点：
- 重用隐藏层，直接基于模型的当前信息状态构建模型。
- 不需要太多标记数据就能使模型有效，尤其是只重新训练最后一层时。
- 训练速度快，特别是只重新训练最后一层。
- 适用于多种架构，可用于文档或图像级别的标签预测、图像内物体预测或文本序列生成等。
- 无需对不同神经元的不同激活范围进行归一化，模型会自行处理。

但它也存在一些缺点：
- 与其他不确定性采样技术一样，可能过于关注特征空间的某一部分，缺乏多样性。
- 可能会过拟