论文阅读《Meta R-CNN : Towards General Solver for Instance-level Low-shot Learning》

最新推荐文章于 2024-06-04 09:58:51 发布

原创

最新推荐文章于 2024-06-04 09:58:51 发布 · 2.2k 阅读

13 ·

CC 4.0 BY-SA版权

文章标签：

#cnn #深度学习 #pytorch

本文介绍了一种名为MetaRcnn的模型，该模型通过结合Faster R-CNN和元学习方法，特别是引入了Predictor-head Remodeling Network (PRN)模块，用于小样本物体检测任务。PRN利用元数据集生成类注意力向量，与RPN的特征图进行通道域点乘操作，以提高对新颖类别的检测性能。实验结果显示，MetaRcnn在PASCAL VOC和MSCOCO数据集上表现优越，特别是在小样本类别上提高了检测精度。

Meta Rcnn

本文的模型基于 Fsater/Mask Rcnn，提出了一种 PRN（Predictor-head Remodeling Network）模块。用元学习的方法对 RoI 上产生的特征图进行处理，再输入到后面的预测部分中完成预测。

RPN 模块接收包含 low-shot 物体的图像及其标注，是一个全卷积网络并与 Faster Rcnn 的特征提取模块共享权重，来产生不同类别的注意力向量（class attentive vectors）。得到的注意力向量与所有的 RoI 特征进行注意力计算，产生每个类的检测结果。

在小样本检测的任务上，传统的元学习模型往往只能识别只含单一物体的图片，不能分解复杂的信息。但是 Faster/Mask Rcnn 可以利用 RPN 检测图片中的不只一个物体，因为 RPN 产生的 RoI 只包含一个物体，就可以用来进行元学习。这也是本文的动机，将元学习与 Faster Rcnn 结合。

具体实现

网络结构

对于图像分类任务，一个元学习器 $h(x_{i},D_{meta};\theta )$ ，输入一张属于 $D_{train}$ 的图片 $x_{i}$ 和整个元数据集 $D_{meta}$ ，这个元学习器应通过学习可以将 $D_{train}$ 中的图片分类到 $D_{meta}$ 的类别 $C_{meta}$ 上。之后用 $D_{novel}$ 取代 $D_{meta}$ ，迁移其泛化能力到新数据集上，但目前为止的方法都效