启发应该是来源于SIFT中高斯金字塔带来的尺度不变性。论文出来很久了,感觉的确创新点很强,效果也是爆炸!
论文地址:http://openaccess.thecvf.com/content_CVPR_2020/papers/Wang_Scale-Equalizing_Pyramid_Convolution_for_Object_Detection_CVPR_2020_paper.pdf
Github地址:https://github.com/jshilong/SEPC
Abstract:
特征金字塔已成为一种提取不同尺度特征的有效方法。该方法的发展主要集中于在不同层级上聚集上下文信息,而很少涉及特征金字塔中的层次间相关性。早期的计算机视觉方法通过在空间和尺度维度上定位特征极值来提取尺度不变特征。受此启发,本研究提出了一种跨金字塔层次的卷积,是一种改进的3-D卷积。堆叠的金字塔卷积可直接提取3-D(尺度和空间)特征,并且胜过其他经过精心设计的特征融合模块。基于3-D卷积的观点,在金字塔卷积之后自然会插入从整个特征金字塔中收集统计信息的集成批归一化。此外,我们还表明,朴素的金字塔卷积以及RetinaNet头的设计实际上最适合从高斯金字塔中提取特征,而高斯金字塔的特性很难被特征金字塔所满足。为了减轻这种差异,我们构建了一个尺度均衡金字塔卷积(SEPC),仅在高级特征图上对齐共享金字塔卷积内核。 SEPC模块具有高效的计算能力,并且与大多数单级目标检测器的头部设计兼容,可为最先进的一级目标检测器带来显着的性能提升(在MS-COCO2017数据集上增加了> 4AP)。 轻型SEPC也具有3.5AP增益,推理时间仅增加7%左右。 金字塔卷积还可以作为两级目标检测器中的独立模块正常运行,并且能够通过2AP改善性能。