67、小样本学习与神经网络架构搜索技术综述

小样本学习与神经网络架构搜索技术综述

1. 小样本学习概述

在实际应用中，小样本情况普遍存在，样本标注工作耗时费力，因此小样本学习的研究十分必要且重要。数据增强策略通常针对每个数据集定制，难以迁移到其他数据集，尤其是不同领域的数据集。生成方法对小样本类别的泛化能力不足，生成的数据难以很好地模拟真实数据。

2. 基于迁移学习的小样本学习

为解决小样本学习问题，人们希望算法能利用过往知识学习新知识，于是迁移学习应运而生。迁移学习是指从有充足训练数据的源领域和源任务中学习知识，并将其迁移到小样本数据的目标领域和目标任务中。源领域和目标领域只需有一定相关性，源领域学到的知识和特征就能帮助训练目标领域的分类模型。一般来说，源领域和目标领域的相关性越强，迁移学习的效果越好。
迁移学习的基本思想是相似任务的学习存在相同规律。给定源领域数据作为基类和学习任务T1，确定目标领域数据作为新类和学习任务T2，迁移学习的目的是利用基类的知识帮助提升新类预测函数的学习效果，使任务T2表现更好。具体的迁移方法可分为三类：基于特征的迁移、基于共享参数的迁移和基于关系的迁移。
迁移学习将数据集分为训练集、支持集和查询集：
- 训练集：包含大量标注数据的源数据集。
- 支持集：包含少量标注数据的目标任务训练集。
- 查询集：目标任务的测试集。

3. 元学习

元学习是实现迁移学习的一种方法，其目标是让机器学会学习。该思想早在20世纪90年代就已提出。元学习拟合一系列相似任务的分布，通过元学习器合成每个学习任务的参数，从而获得良好的初始化参数。本质上，元学习是为所有任务寻找更优的模型参数，更新参数时，它将所有任务在测试集