该论文名为 Revisiting the Sibling Head in Object Detector,其提出基于任务间空间自适应解耦(task-aware spatial disentanglement,TSD)的检测算法能够有效地减弱通用物体检测中分类任务和回归任务之间的潜在冲突,可以灵活插入大多检测器中,在 COCO 和 OpenImage 上给任意 backbone 提升 3~5% 的 mAP。
该算法也作为核心解决方案(https://arxiv.org/abs/2003.07557)帮助港中文商汤联合实验室取得 OpenImage Object Detection Challenge 2019 冠军。
论文标题:Revisiting the Sibling Head in Object Detector
论文来源:CVPR 2020
论文链接:https://arxiv.org/abs/2003.07540
论文引入
通用物体检测算法是许多计算机视觉任务中的重要手段,无论是在工业界还是学术界都是研究的重点。为了能够持续推动检测领域的算法创新,各种通用物体检测算法竞赛每年也会持续召开,如 MSCOCO challenge 以及 OpenImage Object Detection Challenge。
纵观历年来的冠军算法,Anchor-based 的 faster RCNN 检测框架一直作为参赛选手的首选。受 DoubleHead RCNN 和 IoUNet 的启发,本文发现,在 faster RCNN 中,分类任务和回归任务对于输入特征不同位置的敏感性不同,如图 1 所示。
在实验中发现,分类任务更关注语义信息丰富的地方,而回归任务比较关注物体的边界处。在这样的一种潜在的性质下,传统的 faster RCNN 对于分类任务和回归任务共享同一个 proposal 和特征提取器(sibling head)就会出现一些内在的矛盾影响检测器的训练。
本文基于此现象,提出了基于任务间空间自适应解耦(task-aware spatial disentanglement,TSD)的检测算法,对于分类任务和回归任务,分别让其学习各自适应的 proposal 和特征提取器。论文的主要贡献如下:
提出了基于任务间空间自适应解耦(task-aware spatial disentanglement,TSD)的检测算法,对于分类任务和回归任务,分别让其学习各自适应的proposal和特征提取器。
引入 progressive constraint (PC) 损失,来帮助检测器性能大幅度超越传统的检测器头部。
TSD 帮助通用的检测器大幅度提升性能 3%-5%,在 COCO 上,基于 ResNet-101 可以达到 49.4 的 map,在 SENet154 上可以达到 51.2。
论文方法
检测流程定义
通用的 Faster R-CNN 中,其优化目标为基于 RPN 产生的 proposal P,最小化分类任务损失和定位任务损失,可以表示为:
其中, 。 是检测器头部的特征提取器,其输入特征基于 proposal P 通过特定的 pooling 方式获得, 和 是用来进行分类和定位的函数。
在这样的设计下,两个优化目标不同的任务之间就会存在一些内在的冲突。对于分类任务来说,其要求平移不变性,即当 proposal P 有微小的变化时,其分类结果要保持不变;对于定位任务来说,其需要具备平移感知性,即当 proposal P 有微小的变化时,回归结果要随之发生改变。如:
其中,有