小样本学习--笔记整理

0- What is Few-shot Learning？

one-shot learning产生的动机大家都比较了解。现在在互联网，我们主要用large-scale方法处理数据，但真实情况下，大部分类别我们没有数据积累，large-scale方法不完全适用。所以我们希望在学习了一定类别的大量数据后，对于新的类别，我们只需要少量的样本就能快速学习。

目前考虑的解决方法主要有两个：

第一个是人能够识别一个从没有见过的物体，也就是zero-shot learning；

第二个是从已有任务中学习知识，将其应用到未来模型训练中，可以认为是一个迁移学习的问题。

Few-shot Learning 是 Meta Learning 在监督学习领域的应用。

C-way K-shot 问题：在训练阶段，会在训练集中随机抽取 C 个类别，每个类别 K 个样本（总共 CK 个数据），构建一个 meta-task，作为模型的支撑集（support set）输入；再从这 C 个类中剩余的数据中抽取一批（batch）样本作为模型的预测对象（batch set）

1. How Few-shot Learning？

Few-shot Learning 模型大致可分为三类：Mode Based，Metric Based 和 Optimization Based

Model Based 方法旨在通过模型结构的设计快速在少量样本上更新参数，直接建立输入 x 和预测值 P 的映射函数；直接进行有监督学习的方法，可以做基于实例的学习，比如KNN，以及非参数方法。

Metric Based 方法通过度量 batch 集中的样本和 support 集中样本的距离，借助最近邻的思想完成分类；

Optimization Based 方法认为普通的梯度下降方法难以在 few-shot 场景下拟合，