机器学习---迁移学习方法

1. 问题形式化

迁移学习的问题形式化，是进行一切研究的前提。在迁移学习中，有两个基本的概念：领域

(Domain) 和任务 (Task)。它们是最基础的概念。

1.1 领域

领域 (Domain): 是进行学习的主体。领域主要由两部分构成：数据和生成这些数据的概率分布。通

常我们用 D 来表示一个 domain，用大写 P 来表示一个概率分布。特别地，因为涉及到迁移，所以

对应于两个基本的领域：源领域 (Source Domain) 和目标领域 (Target Domain)。这两个概念很好

理解。源领域就是有知识、有大量数据标注的领域，是我们要迁移的对象；目标领域就是我们最终

要赋予知识、赋予标注的对象。知识从源领域传递到目标领域，就完成了迁移。

领域上的数据，我们通常用小写粗体 x 来表示，它也是向量的表示形式。例如，xi 就表示第 i 个样

本或特征。用大写的黑体 X 表示一个领域的数据，这是一种矩阵形式。我们用大写花体 X 来表示

数据的特征空间。通常我们用小写下标 s 和 t 来分别指代两个领域。结合领域的表示方式，则：Ds

表示源领域，Dt 表示目标领域。值得注意的是，概率分布 P 通常只是一个逻辑上的概念，即我们

认为不同领域有不同的概率分布，却一般不给出（也难以给出）P 的具体形式。

1.2 任务

任务 (Task): 是学习的目标。任务主要由两部分组成：标签和标签对应的函数。通常我们用花体 Y

来表示一个标签空间，用 f(·) 来表示一个学习函数。相应地，源领域和目标领域的类别空间就可以

分别表示为 Ys 和 Yt 。我们用小写 ys 和yt 分别表示源领域和目标领域的实际类别。

1.3 常用符号总结

迁移学习（Transfer Learning）：给定一个有标记的源域和一个无 标记的目标域

。这两个领域的数据分布P（xs）和P（x1࿰