github_72654535的博客

本文提出了小样本目标检测领域的SOTA方法DE-ViT，采用元学习训练框架。DE-ViT提出了一种新的区域传递机制用于检测框定位，并且提出了一种空间积分层来讲mask转化为检测框输出。DE-ViT相比之前的方法提升巨大，在COCO数据集上，10-shot提升15AP，30shot提升7.2AP。

本文主要目的是提高小样本目标检测的精度，用DINOv2预训练的模型作为视觉backbone，使用大语言模型（LLM）来对类别、查询图像这两种输入信息进行上下文小样本学习。使用精心设计的语言指令提示LLM来为每个候选去（proposal）进行分类，所使用的上下文信息包括proposal-proposal关系、proposal-class关系、class-class关系。所提出的FM-FSOD方法在多个FSOD基准数据集上取得了SOTA性能。

本文主要解决DETR方法中计算量高、小物体难检测的问题，考虑到前景比背景信息更重要，文章提出了分层过滤的机制，仅对前景query进行注意力编码，从而降低计算量。并提出了一系列即插即用的query微调模块来加强query之间的信息交互和融合。Salience-DETR相比DINO降低了30%计算量，速度更快，同时性能更高，与Rank-DETR相当。

首次提出基于排序思想的Rank-DETR，致力于改进高IoU情况下（例如AP@75）的检测性能，在Transformer中引入排序相关的网络层、排序导向的损失函数和匈牙利匹配损失。在COCO数据集上的性能高于DINO、Align-DETR、GroupDETR等baseline，与Stable-DINO、MS-DETR、Salience-DETR相当，弱于DDQ-DETR、Co-DETR、Relation-DETR等SOTA方法。

本文首次使用基于注意力机制的全局和局部上下文信息来进行目标检测，并通过LSTM递归地生成注意力图，最终融合全局和局部上下文信息提高检测性能！