《迁移学习简明手册》—学习笔记

资料

Github资源仓库
开发维护地址

迁移学习基本概念

概念

在人工智能和机器学习里面，迁移学习是一种学习的思想和模式。

机器学习是让机器自主的从数据中获取知识，从而应用于新的问题中。迁移学习作为机器学习的一个重要分支，侧重于将已经学习过的知识迁移应用于新的问题中。

迁移学习的核心问题是，找到新问题和原问题之间的相似性，才可以顺利的实现知识的迁移。

迁移学习，是指利用数据、任务、或模型之间的相似性，将在旧领域学习过的模型，应用于新领域的一种学习过程。

迁移学习的目的

• 大数据与少标注之间的矛盾：迁移数据标注。
• 大数据与若计算之间的矛盾：模型迁移。
• 普适化模型与个性化需求之间的矛盾：自适应学习。
• 特定应用的需求：相似领域知识迁移。
  

与已有概念的区别和联系

• 迁移学习VS传统机器学习
  迁移学习属于机器学习的一类，但是又有区别。
  
• 迁移学习 VS 多任务学习
  多任务学习指多个相关的任务一起协同学习；迁移学习则强调知识由一个领域迁移到另一个领域的过程。迁移是思想，多任务是其中的一个具体形式。
• 迁移学习 VS终身学习
  终身学习可以认为是序列化的多任务学习，在已经学习好若干个任务之后，面对新的任务可以继续学习而不遗忘之前学习的任务。迁移学习则侧重于模型的迁移和共同学习。
• 迁移学习VS领域自适应
  领域自适应问题是迁移学习的研究内容之一，它侧重于解决特征空间一致、类别空间一致、仅特征分布不一致的问题。而迁移学习也可以解决上述内容不一致的情况。
• 迁移学习VS增量学习
  增量学习侧重解决数据不断到来，模型不断更新的问题。迁移学习显然有个不同之处。
• 迁移学习VS自我学习
  自我学习指的是模型不断地从自身处进行更新，而迁移学习强调知识在不同的领域间进行迁移。
• 迁移学习VS协方差漂移
  协方差漂移指数据的边缘概率分布发生变化。领域自适应研究问题解决的就是协方差偏漂移现象。

负迁移

迁移学习指的是，利用数据和领域之间存在的相似性关系，把之前学到的知识，应用于新的未知领域。迁移学习的核心问题是，找到两个领域的相似性。找到了这个相似性，就可以合理利用，从而很好的完成迁移学习任务。如果这个相似性找的不合理，即两个领域之间不存在相似性，或者基本不相似，那么就会大大损害迁移学习的效果。就出现了负迁移（NegativeTransfer）。

迁移学习领域权威学者、香港科技大学杨强教授发表的迁移学习的综述文章A survey on transfer learning[Pan and Yang, 2010]给出了负迁移的一个定义：
负迁移指的是，在源域上学到的知识，对于目标域上的学习产生负面作用。

产生负迁移的原因主要有：

• 数据问题：源域和目标域根本不相似。
• 方法问题：源域和目标域是相似的，但是迁移学习方法不够好，没找到可迁移的成分。

负迁移给迁移学习的研究和应用带来了负面影响。在实际应用中，找到合理的相似性，并且选择或开发合理的迁移学习方法，能够避免负迁移现象。

迁移学习的研究领域

迁移学习的分类可以按照四个准则进行：按目标域有无标签分、按学习方法分、按特征分、按离线与在线形式分。不用的分类方式对应着不同的专业名词。

按目标域标签分

• 监督迁移学习（Supervised Transfer Learning）
• 半监督迁移学习（Semi-Supervised Transfer Learning）
• 无监督迁移学习（Unsupervised Transfer Learning）

按学习方法分类

• 基于实例的迁移学习方法（Instance based Transfer Learning）
  通过权重重用，对不同的样本赋予不同权重，比如相似的样本，给高权重，对源域和目标域的样例进行迁移。
• 基于特征的迁移学习方法（Feature based Transfer Learning）
  进一步对特征进行变换，假设源域与目标域的特征不在一个空间，可以将它们变换到一个具有相似性的新空间。
• 基于模型的迁移学习方法（Model based Transfer Learning）
  构建参数共享的模型。
• 基于关系的迁移学习方法（Relation based Transfer Learning）
  挖掘和利用关系进行类比迁移。

按特征分类

• 同构迁移学习（Homogeneous Transfer Learning）
• 异构迁移学习（Heterogeneous Transfer Learning）

如果特征语义和维度都相同就是同构，如果特征完全不相同那么就是异构。比如：图片到文本的迁移就是异构的。

按照离线与在线形式分

• 离线迁移学习（Offline Transfer Learning）
• 在线迁移学习（Online Transfer Learning）

目前，绝大多数的迁移学习方法，都采用离线方式。即，源域核目标域均是给定的，迁移一次即可。算法无法对新加入的数据进行学习，模型也无法得到更新。在线的方式，随着数据的动态加入，迁移学习算法可以不断更新。

迁移学习的应用

计算机视觉

迁移学习方法被称为Domain Adaptation。同一类图片，不同的拍摄角度、不同光照、不用背景，都会造成特征分布发生改变。使用迁移学习构建跨领域的鲁棒分类器是十分重要的。

文本分类

文本数据有其领域的特殊性，在一个领域上训练的分类器，不能直接拿来作用到另一领域上。需要使用迁移学习。下图是一个由电子产品评论迁移到DVD评论的迁移学习任务。

时间序列

**行为识别（Activity Recognition）**主要通过佩戴在用户身体上的传感器，研究用户的行为。行为数据是一种时间序列数据。不同用户、不同位置、不同设备，都会导