19、高级主动学习中的主动迁移学习策略解析

高级主动学习中的主动迁移学习策略解析

在机器学习领域，主动学习和迁移学习是提高模型性能和效率的重要方法。本文将深入探讨主动迁移学习在不确定性采样、代表性采样以及自适应采样等方面的应用，分析其原理、优缺点，并提供相应的代码实现和操作步骤。

1. 不确定性采样的主动迁移学习

主动迁移学习在不确定性采样中的应用，允许我们构建更复杂的模型架构。要扩展到图 5.8 中更复杂的架构，只需要几行额外的代码。
- 构建新模型 ：预测“正确”或“错误”的新模型需要一个隐藏层，并且该新模型将从多个隐藏层获取特征。可以将不同层的向量相互追加，这个扁平化的向量就成为新模型的特征。
- 特征提取与表示 ：这一过程类似于自然语言处理中的上下文模型或计算机视觉中的卷积模型，即从网络的几个部分提取神经元的激活并将其展平为一个长特征向量，得到的向量通常被称为表示。
- 模型复杂度考量 ：虽然可以构建更复杂的模型，但这并不意味着应该这样做。如果没有大量的验证数据，更复杂的模型更容易过拟合。训练单个新输出神经元可以更轻松地避免训练误差。

graph LR
    A[输入层] --> B[隐藏层 1]
    A --> C[隐藏层 2]
    B --> D[新隐藏层]
    C --> D
    D --> E[输出层]

主动迁移学习具有以下优点：
- 基于当前信息状态 ：重用隐藏层，直接基于模型