4、基于嵌入空间的迁移学习：跨领域、任务与智能体的知识传递

基于嵌入空间的迁移学习：跨领域、任务与智能体的知识传递

在机器学习领域，知识迁移是一个重要的研究方向，它能够帮助我们在不同的场景中更高效地利用已有的知识。本文将深入探讨基于嵌入空间的迁移学习，涵盖跨领域、跨任务和跨智能体的知识传递。

1. 跨领域知识迁移

跨领域知识迁移旨在解决不同领域之间的知识传递问题，特别是在处理标注数据稀缺的情况下。常见的领域包括不同数据模态，如视觉和文本领域，或者相同模态的不同领域，如两个视觉领域。

1.1 领域适应方法

• 最优传输 ：通过直接匹配分布来最小化分布之间的距离，但求解优化问题的计算成本较高。
• 生成对抗网络（GAN） ：引入了一种间接混合两个领域的工具。在无监督领域适应（UDA）设置中，可训练一个判别网络来区分目标和源数据点的表示，使嵌入空间具有不变性，从而间接匹配分布。例如，Tzeng 等人使用此技术进行 UDA，Zhu 等人引入了循环一致性损失的概念，通过连接两个 GAN 并最小化该损失，使它们在不同领域之间形成恒等映射。

1.2 零样本学习（ZSL）

ZSL 是一种基于语义信息对未见过的目标类进行分类的框架。关键挑战是将图像映射到其语义描述（属性），可以通过共享嵌入空间利用已见源类来学习这种映射。具体来说，使用耦合字典学习（CDL）方法，强制图像的视觉特征和语义属性在中间空间共享相同的稀疏表示。在 ZSL 训练阶段，利用已见类的图像和已见及未见类的语义属性学习两个字典，以稀疏表示图像的视觉和语义特征向量。训练完成后，将未见类的图像映射到嵌入空间并搜