论文阅读《RepMet: Representative-based metric learning for classification and few-shot object detection》

最新推荐文章于 2024-12-06 10:59:07 发布

原创

最新推荐文章于 2024-12-06 10:59:07 发布 · 974 阅读

6 ·

CC 4.0 BY-SA版权

本文介绍了 RepMet 端到端网络，可用于小样本目标检测领域。它通过替换特征提取网络的分类头，利用 K 近邻算法建模表征。文中还提出新的小样本检测 Benchmark，包含三个 baseline，并进行实验对比，结果表明同时训练嵌入和表征很重要，能提升对未见类别的鲁棒性。

RepMet

提出了一种可以同时学习特征提取网络、嵌入空间和描述每个类别分布混合模型（表征）的端到端网络。通过替换特征提取网络的 classification head，可以用在小样本目标检测领域。

小样本检测在特定任务和一般范畴分类的任务下取得了很大的进步，但是在目标检测领域，由于背景的存在和需要准确定位物体的位置，还有很大的进步空间。

表征的计算方法是用K近邻算法来建模，以往的方法如原型网络的基本假设是类别分布在嵌入空间中是单峰的（类似正态分布，只有一个峰），也就是说存在一个原型点。但是在实际中，类别的表征不一定是单峰的，可能是多个模式的混合表示（这里也可以理解为其概率密度函数一众最高点）。

文章认为小样本分类任务的方法无法用在小样本检测任务的原因是：一个检测器训练批次通常只包含一张图像，前景与背景 ROI 比率严重不平衡。这对小样本的学习器非常不友好，因为其通常需要在每个训练批次中包含多个类别的平衡的 ROI 比率，并且通常难以应付非结构化噪声（这里指背景）。

RepMet（DML sub-net）用在小样本检测任务的方法是替换目标检测网络的分类算法，而特征提取和定位物体的算法还保持不变。文中以 deformable-FPN（Faster RCNN 的变种，使用空洞卷积）为例，超参数 K=5，σ=0.5，在 few-shot 任务上利用提出的分类算法（DML）来得出 ROI 的后验类别，具体做法是输入 ROI 的特征向量，利用迁移学习的思想，将与特征向量表征最相近（在L2距离下）的表征替换为该特征向量的表征，通过将某种类别的知识迁移到测试集的新类别来完成 few-shot learn。如下图，在训练阶段同时学习特征提取网络、嵌入空间内的表征（包括各个类别和背景）。在测试阶段输入的是训练集里没有的类别，往往要通过一张或者几张图片来得到其在嵌入空间的表征，这里迁移了已有类别的表征来提高性能