迁移学习的背景及介绍

迁移学习提出的背景及历史

1、迁移学习提出背景

    在机器学习、深度学习和数据挖掘的大多数任务中，我们都会假设training和inference时，采用的数据服从相同的分布（distribution）、来源于相同的特征空间（feature space）。但在现实应用中，这个假设很难成立，往往遇到一些问题：

    1、带标记的训练样本数量有限。比如，处理A领域（target domain）的分类问题时，缺少足够的训练样本。同时，与A领域相关的B（source domain）领域，拥有大量的训练样本，但B领域与A领域处于不同的特征空间或样本服从不同的分布。

    2、数据分布会发生变化。数据分布与时间、地点或其他动态因素相关，随着动态因素的变化，数据分布会发生变化，以前收集的数据已经过时，需要重新收集数据，重建模型。

    这时，知识迁移（knowledge transfer）是一个不错的选择，即把B领域中的知识迁移到A领域中来，提高A领域分类效果，不需要花大量时间去标注A领域数据。迁移学习，做为一种新的学习范式，被提出用于解决这个问题。

 

2、迁移学习发展历史

    迁移学习的研究来源于一个观测：人类可以将以前的学到的知识应用于解决新的问题，更快的解决问题或取得更好的效果。迁移学习被赋予这样一个任务：从以前的任务当中去学习知识（knowledge）或经验，并应用于新的任务当中。换句话说，迁移学习目的是从一个或多个源任务（source tasks）中抽取知识、经验，然后应用于一个目标领域（target domain）当中去。

    自1995年以来，迁移学习吸引了众多的研究者的目光，迁移学习有很多其他名字：学习去学习（Learning to learn）、终身学习（life-long learning）、推导迁移（inductive transfer）、知识强化（knowledge consolidation）、上下文敏感性学习（context-sensitive learning）、基于知识的推导偏差（knowledge-based inductive bias）、累计/增量学习（increment / cumulative learning）等。

 

迁移学习的分类

1、迁移学习的研究问题

    在迁移学习领域有三个研究问题：（1）、迁移什么；（2）、如何迁移；（3）、什么时候迁移。

    1）迁移什么：那一部分知识可以在多个领域或任务之间迁移，即多个领域或任务知识的共同部分，通过从源领域学习这部分共同的知识，提升目标领域任务的效果。

    关注迁移什么知识时，需要注意negative transfer问题：当源领域和目标领域之间没有关系，却要在之间强制迁移知识是不可能成功的。极端情况下，反倒会影响目标领域任务学习的效果，这种情况称为负迁移（negative transfer），需要尽力避免。

    2）找到了迁移什么，接下来需要解决如何迁移：怎么做知识迁移。什么时候迁移：在什么情况下、什么时候，可以做知识的迁移。

 

2、转导学习与推导学习区别

    推导学习（inductive learning）与转导学习（tranductive learning）的区别：

    推导学习：需要先用一些样本（training set）建立一个模型，再基于建立好的模型去去预测新的样本（testing set）的类型。以分类为例，推到学习就是一个经典的贝叶斯决策，通过贝叶斯共识：P（Y|X）=P（X|Y）*P（Y）/ P（X），建立后验概率分布P（Y|X），进而预测测试样本类别。缺点就是必须先建立一个模型，很多时候建立效果好的模型并不容易，特别是当带标记的训练样本少、无标记的测试样本非常多时。那么能否直接利用大量无标记的测试样本来识别样本类别呢？由此产生了转到学习方法。

    转导学习：不需要建立后验概率模型，直接从无标记的测试样本X出发，构建P（X）的分布，对测试样本分类。与推到学习相比，转到学习也有它的缺点：因为是直接基于P（X）处理，转导学习的测试样本必须预先已知。

 

3、基于定义的迁移学习分类

    基于迁移学习的定义中源领域和目标领域D和任务T的不同，迁移学习可以分成三类：推导迁移学习（inductive transfer learning），转导迁移学习（tranductive transfer learning）和无监督迁移学习（unsupervised transfer learning）