48、机器学习中的元学习与迁移学习

机器学习中的元学习与迁移学习

1. 元学习概述

元学习（Meta-Learning）中的“元”（meta-）前缀源于希腊语，意为“之上”或“超越”。在认识论中，它以抽象递归的方式定义，即“关于X的X”。例如，元认知（meta-cognition）的意思是“关于认知的认知”。元学习是元认知的一个分支，被称为“关于自身学习和学习过程的学习”。

人类不仅能够学习新的概念和技能，还能学习归纳偏置，即学习如何获得假设以及如何进行泛化。元学习这一术语于1979年首次出现在认知心理学领域，多年后被引入机器学习领域，并逐渐成为一个值得关注的研究方向。自2017年起，元学习研讨会（Workshop on Meta-Learning）作为神经信息处理系统大会（NeurIPS）的研讨会之一每年举办。元学习也被认为是“学会学习”，在2021年国际学习表征会议（ICLR）期间，还举办了一场关于“学会学习”的特别研讨会。

1.1 元学习的定义

不同的研究人员对元学习给出了不同的定义：
- 2002年，IBM托马斯·J·沃森研究中心的两位研究人员提出，元学习的目标是构建自适应学习者，即构建能够通过积累元知识动态改进其偏好的算法。
- 2008年，葡萄牙波尔图大学的Pavel Brazdil等人认为，元学习是一种使用元知识并调整机器学习和数据挖掘过程以获得有效模型和解决方案的原则性方法。
- 2015年的一篇综述文章指出，元学习系统必须包括一个学习子系统，该子系统能根据经验进行自适应，而经验是通过利用提取的元知识获得的。
- 2018年，荷兰埃因霍温科技大学的Joaquin Vanschoren将元学习定义为系统地观察不同机器学习方法在广泛学习任务