本科毕设研究记录（一）————小样本综述

论文链接[1904.05046] Generalizing from a Few Examples: A Survey on Few-Shot Learning (arxiv.org)

综述

问题定义

• 机器学习定义：A computer program is said to learn from experience E with respect to some classes of task T and performance measure P if its performance can improve with E on T measured by P.

  计算机程序可以通过使用方法P在任务T中获得经验E来使它的表现变好。但是总是需要大量的数据，这是比较困难的。

• 小样本学习：Few-Shot Learning(FSL) is a type of machine learning problems (specified by E, T and P), where E contains only a limited number of examples with supervised information for the target T.

  使用少量样本数据进行训练完成目标任务的一种机器学习方法。

使用小样本学习典型的几种场景

• 字符生成：学习（E）由给定示例和监督信息以及预先训练的概念（如零件和关系）组成的知识，作为先验知识。生成的字符通过视觉图灵测试（P）的通过率进行评估，该测试可区分图像是由人类还是机器生成的。
• 罕见案例学习：当不能获得充足的训练集来进行训练时，如，考虑一个药物发现任务（T），它试图预测一个新分子是否具有毒性作用。正确分配为有毒或无毒（P）的分子百分比随着（E）的增加而提高，（E）通过新分子的有限分析和许多类似分子的分析作为先验知识获得。
• 减轻样本收集的负担：考虑少量镜头图像分类任务（T）。图像分类精度（P）通过为每个类别的target提取一些标记图像，以及从其他类别（如原始图像）提取先验知识（E）来提高。成功完成此任务的方法通常具有较高的通用性。因此，它们可以很容易地应用于许多样本的任务。

例如下表

Remark 1.When there is only one example with supervised information inE, FSL is calledone-shot
learning[14,35,138]. When E does not contain any example with supervised information for the
targetT, FSL becomes azero-shot learningproblem (ZSL). As the target class does not contain
examples with supervised information, ZSL requires E to contain information from other modalities
(such as attributes, WordNet, and word embeddings used in rare object recognition tasks), so as to
transfer some supervised information and make learning possible.

当只有一个有监督信息的样本称为单样本学习，没有办法从监督学习获得信息的时候成为0样本学习，0样本要求从其他地方获得信息。

相关的领域

• Weakly supervised learning弱监督学习：仅从包含弱监督（如不完整、不精确、不准确或有噪声的监督信息）的经验中学习。根据人工干预的不同又分为以下几类：

  • Semi-supervised learning半监督学习：从少量有标签数据和大量无标签数据，通常应用文本分类和网页分类。还有一种Positive-unlabeled learning正未学习，只判断样本是未知的还是正向。
  • Active learning主动学习，它选择信息性的未标记数据来查询oracle的输出。这通常用于注释标签昂贵的应用程序，如行人检测。

  FSL也包括强化学习问题，只有当先验知识是未标记数据且任务是分类或回归时，FSL才成为弱监督学习问题。

• Imbalanced learning不平衡学习：不平衡学习是从经验中学习的，它的分布是偏态的。在欺诈检测和灾难预测应用程序中，当一些值很少被采用时，就会发生这种情况。

• 迁移学习：将知识从训练数据丰富的源域/任务转移到训练数据稀缺的目标域/任务。它可以用于跨域推荐、跨时间段、跨空间和跨移动设备的WiFi定位等应用。

  小样本学习中经常使用迁移学习的方法

• 元学习：元学习者在任务中逐渐学习通用信息（元知识），学习者通过任务特定信息概括元学习者的新任务

  元学习者被视为指导每个特定FSL任务的先验知识。

核心问题

经验风险最小化（Empirical Risk Minimization）

假设一个任务h，我们想最小化他的风险R，损失函数用$p(x,y)$进行计算。得到如下公式

$$R(h)=\int \ell (h(x),y)dp(x,y)=\mathbb{E}[\ell (h(x),y)]$$

因为$p(x,y)是未知的，经验风险在有I个样本的训练集上的平均值$来代理经验风险值$R_I(h)$

$$R_I(h)=\frac{1}{I}\sum _{i=1}^i\ell (h(x_i$$