Learning to Model the Tail：通过多样本任务辅助少样本任务学习（元学习）

最新推荐文章于 2025-05-03 19:56:36 发布

惯懒高手

最新推荐文章于 2025-05-03 19:56:36 发布

阅读量1.6k

点赞数

分类专栏：元学习文章标签：元学习迁移学习

本文链接：https://blog.youkuaiyun.com/weixin_39078049/article/details/102147719

版权

元学习专栏收录该内容

2 篇文章

订阅专栏

在日常生活中，数据的数量并不是相等的。即使是在超大型数据集中，数据的数量差异也广泛存在，例如下图中SUN-397中的数据分布情况。卧室的数据可以达到1000以上，但图书馆甚至不到50。

在本文中，这种数据分布情况被称为“长尾”（long tail）。对于处在尾部的数据而言，机器学习算法实际上是在执行小样本学习任务（N-shot learning），这直接导致了相关领域识别的准确率不高。

为解决这一问题，本文提出了一种基于元学习的方法。其思想入下图所示。对于具有较多样本的数据，使用基于残差网络（ResNet的思想）的元学习器学习这些学习的进程（Learn to learn），从而使用较少数据实现快速学习。

而他们的具体做法是如下图所示。他们使用的是一个N个Block的残差网络，每个模块有独立的参数 $w_i$ 。他们的具体设想是：第i个残差模块的输入是由 $2^i$ 个数据训练所得的CNN网络的参数（这里他们保持CNN前部特征提取网络的参数不变，只将最后一层4096->1000中每一个4096->1的参数 $θ$ θ作为了Transfer Learning的对象）。也即，第 $i$ 个Block的作用就是将对应于 $2^i$ 个数据的训练参数映射为对应于 $2^{i+1}$ 的参数。