迁移学习的背景及介绍

最新推荐文章于 2025-06-10 15:44:48 发布

原创

最新推荐文章于 2025-06-10 15:44:48 发布 · 2.4k 阅读

6 ·

CC 4.0 BY-SA版权

迁移学习旨在解决训练数据有限和数据分布变化的问题，通过知识迁移提高任务性能。自1995年以来，它已成为研究焦点，涉及如何选择、转移和应用知识。迁移学习分为推导、转导和无监督三种类型，每种都有其特定应用场景和挑战。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

迁移学习提出的背景及历史

1、迁移学习提出背景

在机器学习、深度学习和数据挖掘的大多数任务中，我们都会假设training和inference时，采用的数据服从相同的分布（distribution）、来源于相同的特征空间（feature space）。但在现实应用中，这个假设很难成立，往往遇到一些问题：

1、带标记的训练样本数量有限。比如，处理A领域（target domain）的分类问题时，缺少足够的训练样本。同时，与A领域相关的B（source domain）领域，拥有大量的训练样本，但B领域与A领域处于不同的特征空间或样本服从不同的分布。

2、数据分布会发生变化。数据分布与时间、地点或其他动态因素相关，随着动态因素的变化，数据分布会发生变化，以前收集的数据已经过时，需要重新收集数据，重建模型。

这时，知识迁移（knowledge transfer）是一个不错的选择，即把B领域中的知识迁移到A领域中来，提高A领域分类效果，不需要花大量时间去标注A领域数据。迁移学习，做为一种新的学习范式，被提出用于解决这个问题。

2、迁移学习发展历史

迁移学习的研究来源于一个观测：人类可以将以前的学到的知识应用于解决新的问题，更快的解决问题或取得更好的效果。迁移学习被赋予这样一个任务：从以前的任务当中去学习知识（knowledge）或经验，并应用于新的任务当中。换句话说，迁移学习目的是从一个或多个源任务（source tasks）中抽取知识、经验，然后应用于一个目标领域（target domain）当中去。

自1995年以来，迁移学习吸引了众多的研究者的目光，迁移学习有很多其他名字：学习去学习（Learning to learn）、终身学习（life-long learning）、推导迁移（inductive transfer）、知识强