【阅读笔记】Rethinking Classification and Localization for Object Detection

本文深入比较了全连接头(fc-head)和卷积头(conv-head)在目标检测任务中的表现,发现两者在分类和定位任务上具有互补优势。fc-head擅长对象分类,而conv-head则擅长边界框回归。因此,作者提出了双头方法,结合fc-head用于分类,conv-head用于回归,实现了性能提升。在实验中,双头方法在ResNet-50和ResNet-101基础上分别提升了+3.5和+2.8的AP值。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

原文链接Rethinking Classification and Localization for Object Detection

CVPR2020

目录

1. Introduction

2. Related Work

 3.Experimental Results

 4.Conclusions


1. Introduction

        大多数两阶段目标检测器共享一个分类和边界盒回归的head。然而对fc-head,conv-head这两个头部结构之间缺乏理解。在本文中,作者对全连接头(fc头)和卷积头(凸头)进行了彻底的比较。对象的分类和本地化。我们发现这两种不同的头部结构是互补的。fc-head能更好地区分一个完整的对象和一个对象的一部分更适用于分类任务.conv-head提供了更准确的bounding box regression更适用于回归任务。鉴于上述发现,作者提出了双头方法,其中包括一个完全连接的头 (fc-head)用于分类和卷积头(conv-head)用于边界框回归。

2. Related Work

首先看下几种head结构

        在得到feature map后接上一个全连接分支,在最后接上两个分支,一个输出预测的BoundingBox位置信息,一个输出对应位置的类别信息。

         在得到feature map后接上几个卷积操作,再接上一个全连接,最后接上一个分支输出预测的BoundingBox位置信息,一个分支输出对应位置的类别信息。

         该结构是将上面两种结合在一起,全连接的用于分类任务,卷积的拥有回归任务。在本文中作者称为Double-Head。

         作者发现fc-head和conv-head其实在分类上是互补的。因此,作者在训练中引入了不集中的任务监督,并提出了一种互补的融合方法,结构如上图所示。

        Network Structure
        Backbone:作者使用 FPN生成proposal,并使用 RoIAlign从多个级别提取对象特征。 每个proposal都有一个大小为256×7×7的特征图,由fc-head和conv head转换为两个维度都是1024的特征向量,分别用于分类和边界框回归。
        Fully Connected Head (fc-head ) :由两个全连接层组成,遵循 FPN中的设计。 输出维度1024,参数量为13.25M。
         Convolution Head (conv-head ) :堆叠K个残差模块。

conv-head结构的第一个残差块如图(a),将提取的RoI的通道数256增加到1024通道,参数量1.06M。

conv-head结构后续残差块如图(b),正常的resnet block操作,参数量1.06M。

在每个b块之前添加一个块c,来为conv-head引入一种变化,以增强前景对象,参数量2M。作者顺序叠加{a−c−b−c−b}构成conv-head。

         double-head Loss:


 分别表示fc-head,conv-head,FPN的损失;分别表示fc-head和conv-head部分损失的权重,实验分别取2.0和2.5。

        Double-Head-Ext Loss:

 

 

 其中超参分别取0.7和0.8最优

       Complementary Fusion of Classififiers:

 表示fc-head分类的得分,表示conv-head分类的得分。

 3.Experimental Results

 

 

 

 

 

结果显示fc-head head 比 conv-head 更适合分类 。

 4.Conclusions

         在本文中,作者发现了一个有趣的事实,两种广泛使用的fc-head和conv-head在目标检测中对分类和定位任务具有相反的偏好。具体来说,fc-head 更适合分类任务,而 conv-head 更适合定位任务。此外,作者检查输出特征两个头部的映射,发现 fc-head 比 conv-head 具有更高的空间敏感性。因此,fc-head 具有更强的区分完整对象和部分对象的能力,但对整个对象的回归并不鲁棒。基于这些发现,作者提出了一种双头方法,它有一个专注于分类的fc-head和一个用于边界框回归的conv-head。作者的方法分别从具有 ResNet-50 和 ResNet-101 主干的 FPN 基线在 MS COCO 数据集上获得 +3.5 和 +2.8 AP。

 

 

 

 

 

 

 

 

 

 

 

 

 

        

### 显著性目标检测中的最先进模型 显著性目标检测(Salient Object Detection, SOD)是计算机视觉领域的重要研究方向之一,其目的是自动识别图像中最吸引人类注意力的部分并将其提取出来。近年来,随着深度学习技术的发展,基于卷积神经网络(CNN)、Transformer 和多尺度特征融合的方法逐渐成为主流。 #### 1. 多尺度深特征方法 一种经典的显著性目标检测方法是在 CVPR'15 上提出的《Visual Saliency Based on Multiscale Deep Features》[^4]。该工作通过利用多尺度深层特征来计算视觉显著性图,展示了如何有效地结合不同层次的特征表示以提高性能。这种方法奠定了后续许多工作的基础。 #### 2. 轻量级模型与 gOctConv 结合 轻量化模型设计也是当前的研究热点之一,《Light-weighted Model Composed of gOctConvs Overview》[^3] 提出了使用分组八叉树卷积 (gOctConv) 来构建高效的显著性目标检测框架。这种架构不仅减少了参数数量,还保持了较高的精度,在资源受限环境下具有优势。 #### 3. RGB-D 数据下的重新思考 对于包含深度信息的数据集,《Rethinking RGB-D Salient Object Detection: Models, Data Sets, and Large-Scale Benchmarks》[^1] 对现有模型进行了全面分析,并提出了新的评价标准和大规模基准测试集合。这有助于推动三维场景下更鲁棒的算法开发。 #### 4. Transformer 的引入 最近几年,Vision Transformers 开始被应用于各种视觉任务中,包括显著性目标检测。一些最新的 SOTA 模型采用了混合结构——即同时利用 CNN 提取局部细节以及 Transfomer 获取全局上下文关系。这类方法能够更好地捕捉复杂背景条件下的前景对象边界。 以下是几个具体代表性的最新进展: - **PoolFormer**: 利用池化操作代替传统自注意机制实现高效建模; - **TransSAL**: 完全基于 transformer 架构完成端到端训练过程; - **BASNet**: Boundary-Aware Salient Object Detection Network 强调边缘感知能力提升分割质量; 这些新型架构均取得了优异的成绩,并且不断刷新公开数据集上的记录。 ```python import torch.nn as nn class ExampleModel(nn.Module): def __init__(self): super(ExampleModel, self).__init__() # Define layers here def forward(self, x): pass example_model = ExampleModel() print(example_model) ``` 上述代码仅为示意用途,请根据实际需求调整网络定义部分。 ---
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值