集智书童 | 小目标检测破局者 | MAFE R-CNN以多线索样本选择+类别感知特征增强显著超越Faster R-CNN-优快云博客

本文链接：https://blog.youkuaiyun.com/csdn_xmj/article/details/149192426

本文来源公众号“集智书童”，仅用于学术分享，侵权删，干货满满。

原文链接：小目标检测破局者 | MAFE R-CNN以多线索样本选择+类别感知特征增强显著超越Faster R-CNN

精简阅读版本

本文主要解决了什么问题

1. 小目标检测中的样本不平衡问题：传统方法在训练过程中难以为小目标提供足够的高质量正样本，导致模型优化受限。
2. 小目标特征模糊问题：小目标通常包含较少的像素信息，特征难以区分，容易被噪声掩盖。
3. 现有方法的局限性：许多方法依赖复杂的网络结构或仅关注图像内特征信息，未能充分利用类别感知特征和跨图像信息。

本文的核心创新是什么

1. 多线索样本选择（MCsS）策略：
- • 综合考虑IoU距离、预测类别置信度和真实区域尺寸，动态选择高质量的小目标正样本。
- • 确保不同目标尺寸下的样本分布均衡，提升训练过程中的样本质量。
2. 类别感知特征增强机制（CFEM）：
- • 引入类别感知记忆模块，探索目标特征之间的关系。
- • 通过交叉注意力机制促进类别感知特征与候选框特征的交互，增强目标特征表示。
3. 多阶段精炼方法：
- • 将MCsS和CFEM集成到多阶段RoI头中，逐步优化分类和回归性能。

结果相较于以前的方法有哪些提升

1. 显著的性能提升：
- • 在SODA-D数据集上，MAFE R-CNN实现了32.7%的AP和46.1%的AR，超越了所有先前的小目标检测方法。
- • 在SODA-A数据集上，MAFE R-CNN实现了35.8%的AP和44.7%的AR，优于遥感领域常用方法。
2. 对小目标检测的针对性改进：
- • 特别是在极小目标（eS）、相对较小目标（rS）和一般较小目标（gS）的检测上，分别取得了显著的性能提升。
3. 与其他检测器的对比：
- • 相较于Anchor-Free点检测器、基于Transformer的检测器、单阶段检测器和双阶段检测器，MAFE R-CNN在小目标检测任务中表现更为优越。

局限性总结

1. 计算成本：
- • 虽然MAFE R-CNN在性能上有显著提升，但其多阶段设计可能增加推理时间，影响实时性。
2. 超参数敏感性：
- • MCsS中的最大正样本数量（k）和类别置信度权重（α）对性能有较大影响，需要精心调整。
3. 扩展性挑战：
- • 方法在处理更复杂场景（如极端光照条件或更多类别）时的鲁棒性尚未完全验证。
4. 依赖高质量标注：
- • 类别感知记忆模块的有效性依赖于高质量的真实标注数据，可能在标注不准确的情况下表现不佳。

深入阅读版本

导读

在复杂环境中进行小目标检测始终是目标检测领域的一大挑战。在本文中，作者指出这一困难源于检测器无法有效学习小尺寸目标的有效判别特征，加之在训练过程中选择高质量小目标样本的复杂性，这促使作者提出了多线索分配与特征增强R-CNN（MAFE R-CNN）。具体而言，MAFE R-CNN集成了两个关键组件。第一个是多线索样本选择（MCsS）策略，该策略利用IoU（IoU）距离、预测类别置信度和真实区域尺寸作为样本选择过程中的信息线索。这种方法有助于选择多样化的正样本，并确保训练过程中目标尺寸的均衡分布，从而促进有效的模型学习。第二个是类别感知特征增强机制（CFEM），作者提出了一种简单而有效的类别感知记忆模块来探索目标特征之间的关系。随后，作者通过促进类别感知特征与候选框特征之间的交互来增强目标特征表示。在大型小目标数据集SODA上进行的全面实验验证了所提出方法的有效性。代码将公开提供。

1. 引言

具有有限像素数的目标在自动驾驶、遥感监控、无人机场景分析以及海上救援等众多场景中发挥着关键作用[1]-[8]。具体而言，在这些场景中，关键信息包含在小型目标中。小型目标的丢失或检测不良可能导致管理问题甚至危险事件[9]。然而，在图像中识别小型目标十分困难。检测器受限于这些目标极小的尺寸，难以实现令人满意的检测性能。

准确检测小物体方面的困难主要源于样本不平衡和特征模糊：(1) 样本不平衡。如图1(a)所示，固定策略和阈值会导致样本分配不平衡。微小的预测偏移会显著影响小物体的样本分布。这阻碍了小物体在训练过程中的优化，导致检测器无法预测它们。(2) 特征模糊。如图1(b)所示，小物体通常只包含几个像素，使其特征难以具有区分性。包含更多噪声的特征图会掩盖小物体的特征，对检测器预测小物体产生不利影响。

针对第一个问题，一些研究[4]、[10]、[14]、[15]提出了样本分配方法。这些方法旨在通过改进分配策略为模型提供足够的小目标正样本。它们仅依赖于预测的位置信息来选择样本，这容易引入低质量样本，并且在处理极小目标时往往无法匹配样本，导致样本不足。具体来说，随着目标面积减小，微小的偏移量都会显著影响样本与真实标注之间的相似度。此外，预定义的阈值对各种目标尺寸缺乏灵活性。因此，位置信息单独不能作为确定正负样本的唯一标准，需要设计优化的样本选择方法。

为解决第二个问题，一些方法引入了尺度特定检测器，其中不同层级的特征负责检测相应大小的目标[16]-[18]。其他方法则通过图像超分辨率[19]-[22]、特征融合[23]-[25]和特征模仿[13]、[26][28]等技术来获取更高质量的小目标特征。这些方法通常需要复杂的网络结构（例如超分辨率网络[22]、特征模仿损失[13]、[27]），并倾向于更关注图像内的特征信息或小目标与大目标之间的关系，以增强小目标特征的判别性。它们往往忽略了相似目标特征之间的相似性以及目标之间的上下文语义连接。基于深度学习的目标检测的本质是在所有图像中对相似的特征区域进行分类和回归，而不是在每个单独的图像内进行独立的分类和回归。因此，为准确预测小目标，考虑相似目标之间共享的特征信息至关重要。

在本文中，作者提出了多线索分配与特征增强（MAFE R-CNN）方法，以解决小目标检测中样本不平衡和特征模糊的问题。该方法包含两个关键组件，即多线索样本选择（MCsS）和类别感知特征增强机制（CFEM）。

1. MCSS：作者设计了一种多线索匹配策略来优化样本分配。在训练过程中，采用动态分配阈值选择正样本，综合考虑了IoU距离、类别置信度和真实区域大小，这有助于选择更多样化的正样本，并确保在不同目标尺寸上的平衡分布，从而促进检测器有效学习小目标检测。
2. CFEM：作者引入了一种简单而有效的类别感知记忆模块，用于探索目标特征之间的关系。该记忆模块在训练过程中根据真实区域特征动态更新，并在推理时固定。

为了通过与记忆特征交互增强候选框特征，作者首先对每个候选框进行预分类，以获得置信度分数作为权重，计算记忆特征的加权求和，从而得到候选框的类别感知特征。然后，这些类别感知特征通过与原始候选框特征进行交叉注意力交互，增强用于分类和回归的目标特征。最后，这些类别感知特征再次与原始候选框特征通过交叉注意力交互，增强用于分类和回归的目标特征。

本文的主要贡献总结如下：

作者提出了多线索分配和特征增强R-CNN（MAFE R-CNN），该模型将多线索和类别信息分别融入样本选择和特征增强中，为SOD任务提供了一种更有效的解决方案。

• 作者设计了一种多线索样本选择（MCsS）策略。通过多线索匹配和动态选择，MCsS在训练阶段为小目标提供更均衡、更高质量的正样本。
• 作者提出了一种类别感知特征增强机制（CFEM），该机制通过类别感知内存模块和信息交互来增强特征，从而解决特征提取的挑战。
• 实验结果表明，MAFE R-CNN在大规模小目标数据集SODA上实现了最先进的检测性能。

2. 相关工作

本节从不同方面简要回顾了小目标检测的相关工作，包括小目标检测、特征记忆模块和样本选择。

A. 小目标检测

在过去十年中，目标检测已成为一个热门的研究领域，并取得了高性能。出现了各种类型的检测器[29]-[35]，通常从 Backbone 网络中提取目标特征，并通过检测Head做出决策。然而，这种检测范式由于小目标尺寸有限，在SOD任务中存在困难，导致显著的特征信息损失，使得检测变得困难。为解决这一问题，现有的小目标检测方法引入了一些策略，以在SOD任务中实现更好的性能。

一些研究在[16]-[18]中使用了特征金字塔网络（FPN）和并行分支进行多尺度预测，利用高分辨率特征进行小目标检测。其他方法如PANet[23]、StairNet[36]、IPG-Net[37]和CFP[38]采用特征融合技术来促进不同特征层之间的信息交互，从而实现更好的小目标特征表示。此外，更多研究行人尝试通过模仿较大目标特征来增强小目标特征[26]。一方面，Perceptual GAN[39]设计了一个生成器来优化小目标的高质量表示，旨在欺骗判别器。研究[19]提出了一种新方法，将模糊的小目标恢复为更清晰的靶标以进行识别。Noh等人[21]通过图像超分辨率增强小目标，提高了小目标的特征表示质量。另一方面，Wu等人[26]和Kim等人[27]应用相似性学习将小目标特征与较大目标的特征拉近。CFINet[13]引入了一种特征模仿方法，通过模仿完成小目标特征的补充，并包含特征模仿损失。

尽管在小型目标检测方面取得了有效进展，但大多数方法仍受限于单张图像内的特征以及小物体与大物体之间的关系。本研究利用同类特征之间的联系，探索物体间潜在的类别感知特征，以提升检测性能。

B. 内存模块

内存模块是使模型能够获取并保留输入图像之外的有效信息的关键组件，从而在训练过程中促进跨多张图像的信息聚合。这一能力在多种计算机视觉任务中尤为明显[40]-[49]。一个显著的例子是MEGA[44]，它采用长程记忆（LRM）模块来存储全局语义特征，从而增强视频目标检测中关键帧的图像特征。类似地，MCIBI++通过学习图像内存模块来改进分割任务中的像素级特征表示。在少样本学习领域，MNE[42]提出使用基于内存的邻域嵌入来增强通用卷积特征。此外，在用于图像检索的深度度量学习中，XBM[43]引入了一种跨批次内存模块，专门设计用于挖掘多个小批次中的信息性样本，从而提高整体模型性能。

先前方法[41], [43], [44]构建用于图像级特征的记忆单元，这些方法缺乏对特定目标的关注。相比之下，作者引入了一种实例级特征记忆模块，用于学习目标间的上下文信息，从而在推理过程中增强低质量目标特征的表征能力。

C. 样本选择

在目标检测训练过程中，模型损失受到正样本和负样本的双重约束。当涉及小目标时，正负样本的划分变得更加困难。与真实标注具有高重叠度的预测被作为正样本用于目标回归损失计算，而负样本则指完全错误的预测，仅用于分类损失计算。传统检测器[11][12][29]通常采用基于重叠度或基于距离的匹配策略来选择样本，并依赖手动设计的阈值作为决策标准。对于小目标， [14]通过增加较小 Anchor 框的数量来提高召回率。Zhu等人[15]在计算重叠度时考虑了 Anchor 框步长，并提出了预期最大重叠（EMO）分数。类似地，RFLA[4]在标签分配时测量每个特征点的高斯感受野与真实标注之间的相似度。ATSS[50]根据目标的统计特征自动选择正负训练样本。

在本工作中，作者旨在平衡不同目标尺寸中正样本的数量，同时选择高质量的正样本。为此，作者结合了IoU距离、类别信息和目标尺寸的线索，以实现更全面的样本选择。

3. MAFE R-CNN

在本节中，作者首先介绍本方法的研究动机和概述，然后提供核心设计的详细描述，即多线索样本选择（MCsS）和类别感知特征增强机制（CFEM）。

最后，作者展示了如何将它们集成到MAFE RCNN中，以及所提出方法的训练细节。

A. 动机与网络架构

尽管在小目标检测方法[4], [13]中表现出良好的性能，但由于样本分配不平衡和特征模糊，检测性能仍然存在挑战。平衡样本能更好地优化模型参数，而高质量特征则有助于目标分类和回归。因此，设计小目标检测方法需要优化样本选择和特征提取。

1. 训练过程中正样本不足：在检测器的训练过程中，作者需要在每个阶段将预测结果分类为正样本和负样本，然后进行后续的损失计算。然而，最终的回归损失计算仅涉及正样本，因此这一步骤对于训练检测器至关重要。训练样本的稀缺或不平衡可能会阻止检测器学习高质量的微小物体特征，可能导致模型在低样本数据中失去检测物体的能力。传统的样本选择方法使用欧几里得距离[10]或IoU距离[51]作为正负样本选择的标准。然而，这些方法对样本数量非常敏感。如图1(a)所示，欧几里得距离仅捕获特定大小范围内的样本，而IoU距离限制了模型获取微小物体样本的能力。为了避免这个问题，作者不是专注于调整参数，而是旨在使用更灵活的算法来控制样本选择，从而捕获更多微小物体样本，实现更均衡的样本分配。
2. 模型对小物体特征关注不足：传统目标检测方法[11], [12]的另一个挑战是对小物体特征关注不足，特别是在小物体比例较高的场景中。首先，由于模型对小物体关注不够，特征融合方法[23], [36], [37]并未从根本上解决小物体特征被掩盖的问题，反而增加了计算成本。此外，通过相似性学习[13], [26], [27]构建的共享特征空间并非最优，如图1(b)所示，引入了更多的特征噪声。相比之下，本文提出同类物体之间的特征更为紧密相关。为了获取更准确的特征信息，考虑其他图像中同类物体的特征至关重要。
3. MAFE-R-CNN概述：为应对小目标检测的挑战，作者提出了多线索分配与特征增强（MAFE R-CNN）方法。该方法架构如图2(a)所示。与其它双阶段检测框架类似，该网络由 Backbone 网络、区域 Proposal 网络（RPN）以及具有多阶段RoI头的检测Head组成，用于分类和回归。为获取更多高质量的小目标正样本，作者设计了一个多线索样本选择（MCsS）模块（第三节-B），该模块通过考虑多因素来维持样本选择的平衡性。接下来，作者提出了一个类别感知特征增强机制（CFEM）（第三节-C），该机制探索相似目标特征之间的潜在类别信息。最后，作者将这两个模块集成到类别感知检测Head（参见第三节-D），并详细解释它们的交互作用和训练策略。

值得注意的是，所MAFE-R-CNN从根本上区别于传统的多阶段RoI头检测器[12]。在先前的方法中，每个阶段的IoU阈值基于经验规则手动设置，导致灵活性不足，倾向于过滤掉更多的小目标，并使得难以聚焦于小目标特征。这导致在训练过程中大目标和小目标之间存在严重的不平衡，最终削弱了检测器识别小目标的能力。相比之下，所MAFE-R-CNN旨在跨多个阶段灵活选择样本，并通过特征增强实现更精确的目标检测。

B. 多线索样本选择

在这一部分，作者介绍了MCsS，如图2(b)所示。MCsS的核心思想是选择高质量样本进行分类和回归。它包含两个主要步骤：多线索置信度的生成以及基于区域大小和分布的动态阈值计算。正负样本根据动态阈值进行选择。作者首先介绍MCsS的设计。然后，详细讨论多线索置信度的生成过程。最后，描述基于区域大小和分布的动态阈值。

C. 类别感知特征增强机制

以下，作者首先介绍训练过程中类别感知记忆的学习过程。接着，作者详细解释类别感知特征生成的方法。最后，作者阐述类别感知特征如何与原始特征相互作用以增强物体表示。

D. 将MCSS和CFEM集成到MAFE R-CNN中

4. 实验

在本节中，作者首先介绍数据集和实现细节。然后，作者将所MAFE-R-CNN与其他检测器进行比较，并呈现消融分析。

A. 数据集和设置

作者在大规模基准数据集SODA [2]上评估了MAFE-R-CNN。该数据集根据自动驾驶和遥感场景分为两个子集，即SODA-D和SODA-A。

SODA-D主要聚焦于驾驶场景中的小目标，包含九个类别：行人、骑行者、自行车、摩托车、车辆、交通标志、交通信号灯、交通摄像头和警示锥。该数据集包含在多种光照和天气条件下拍摄的24,828张图像，共278,433个实例。SODA-A聚焦于遥感场景，包含2,513张图像和872,069个带定向边界框标注的实例。实例可以出现在任何角度，密集和Sparse区域均有变化。该数据集涵盖九个类别：飞机、直升机、小型车辆、大型车辆、船舶、集装箱、储油罐、游泳池和风力涡轮机。

与传统目标检测数据集相比，其中大多数目标尺寸大于1024像素，SODA作为一个大规模的小目标检测基准，包含大量平均尺寸在10到400像素之间的小目标。这使得它成为SOD的一个相当有挑战性的基准。

指标。SODA的指标遵循常用的评估标准。在目标区域分类方面，作者遵循[13]中提出的评估标准来计算小目标检测的平均精度（AP）和平均召回率（AR）。根据区域面积，作者将小实例分为三组：极小（eS）、相对较小（rS）和一般较小（gS）。具体的区域划分如下：（0, 144]、（144, 400]和（400, 1024]。面积超过1024像素的其他目标被分类为普通目标。

对比方法。作者将MAFE R-CNN与最先进的目标检测器进行比较，包括四种检测架构： Anchor-Free 点检测器（CornerNet [53]、CenterNet [30]和RepPoints [55]）、基于transformer的检测器（Deformable-DETR [31]、Sparse RCNN [56]和RT-DETR [57]）、单阶段检测器（RetinaNet [58]、FCOS [59]、ATSS [50]、YOLOX [32]和DyHead [60]）以及双阶段检测器（Faster R-CNN [11]、Cascade RPN [61]、RFLA [4]、Cascade RCN [12]、CFINet [13]和KLDet [62]）。

B. 主要结果

为验证所提出的MAFE R-CNN的有效性，作者在SODAD和SODA-A数据集上将其与先前方法进行比较。表1和表2展示了所提出方法与SODA数据集上几种常用检测器的实验结果。考虑到遥感领域对预测旋转边界框的特定需求，作者将所MAFE-R-CNN与常用的遥感检测框架进行了比较。

1. 与先前最先进方法的比较：如表1所示，MAFE R-CNN在SODA-D数据集上实现了32.7%的AP和46.1%的AR，超越了所有先前的小目标检测方法，包括ATSS [50]、KLDet [62]、RFLA [4]和CFINet [13]。值得注意的是，MAFE RCNN的表现优于排名第二的Cascade-RCNN，AP提升了1.5%，AR提升了2.4%，并在小目标检测任务中平均提升了超过1.1%的AP。如表2所示，MAFE R-CNN在SODA-A数据集上实现了35.8%的AP和44.7%的AR，超越了先前遥感方法，包括LSKNet [69]、CFINet [13]、Oriented R-CNN [67]和Faster R-CNN [11]。图4展示了MAFE-R-CNN在SODA测试数据集上的视觉检测结果，直观地展示了该方法在小目标检测任务中的能力。

2. 与各种检测器的比较：在表1和表2中，作者将检测器分为 Anchor-Free 点检测器、基于Transformer的检测器、单阶段检测器和双阶段检测器。对于CornerNet [53]和CenterNet [30]等 Anchor-Free 点检测器，由于缺乏 Anchor 点约束，在特征提取过程中容易丢失小目标的信息。因此，它们无法生成相应的 Anchor 点，导致对小目标的检测性能较差。关于Transformer检测器，尽管它们通过自注意力机制考虑了图像中的全局信息，但它们对小目标信息不够敏感，极大地限制了小目标检测性能，如[72]中所述。对于仅进行单阶段预测的单阶段检测器[32]、[50]、[58]-[60]，与双阶段检测器相比，它们缺乏迭代过程。在小目标检测任务中，候选框数量有限且特征不明显，加剧了这一局限性，使得单阶段检测器难以获得精确的预测。与其他检测方法相比，双阶段检测器通过多阶段预测在小目标检测中取得了相对准确的结果。然而，样本选择的不平衡和模糊的小目标特征仍然限制了检测器在小目标检测中的性能。

C. 讨论

作者首先讨论所提出的核心组件的单独贡献以及组合网络的贡献。然后，作者通过检查MCSS中的超参数和CFEM中的关键步骤来进一步分析实验结果。除非另有说明，以下所有实验均在SODA-D数据集上进行。

1. MAFE R-CNN相关讨论：表3展示了一个全面的对比实验，细致评估了多线索样本选择（MCsS）和类别感知特征增强模块（CFEM）在多线索分配与特征增强（MAFE R-CNN）最终预测过程中的单独贡献。在MAFE R-CNN中，MCSS用于选择高质量的正面样本，而CFEM增强目标特征。表3中的第1行代表100ascade R-CNN [12]中的原始级联RoI头。如图所示，MCSS和CFEM在小目标检测方面均表现出性能提升。

具体而言，MCSS和CFEM分别使AP提升了1.0%和0.8%，在小目标AP_eS和AP_gS上分别提升了1.0%或更多。此外，MCSS和CFEM的组合展现出协同效应，实现了显著的性能提升，这突出了样本选择和特征增强的互补性，达到了最佳检测效果。

如表4所示，作者进一步研究了将MAFE R-CNN应用于RoI头不同阶段的影响，具体方法是在训练和测试过程中将MCSS和CFEM集成到各个RoI头中。结果表明，在第一阶段或第三阶段应用MAFE R-CNN会导致检测性能下降。具体而言，第一阶段的分类和回归有助于生成更高质量的候选样本，从而更好地支持第二阶段的学习和预测。相反，在第三阶段应用MAFE R-CNN效果较差，因为在前两个阶段中，小目标样本通常已被过滤掉。

为了展示多阶段RoI头的有效性，作者在表5中分析了不同数量的RoI头对检测结果的影响。值得注意的是，作者将MAFE结果与不同阶段的RoI头MAFE R-CNN进行整合，其中S_x表示第x^th阶段。

在第二阶段的RoI head中应用CNN进行这些实验。表5的第1-3行展示了使用单个RoI head的实验结果。可以看出，直接使用MAFE R-CNN与其他单个RoI head方法相比取得了最佳结果。第4-6行展示了多阶段RoI head的结果。显然，RoI head的级联能够提升检测性能，如第5行所示，三阶段RoI head的集成取得了最佳结果，在AP上提升了1.7%，在AR上提升了3.2%，相较于单个RoI head。此外，第5行和第6行的结果表明，三RoI head的级联已经达到了令人满意的效果。更多的RoI head并不能带来更好的检测结果，但会影响检测器的推理速度。值得注意的是，多阶段RoI head对模型的参数或FLOPs影响并不显著。例如，从单个RoI head增加到三个RoI head，参数量仅增加了5%。

2. 关于MCSS的讨论：MCSS显著提升了小目标检测的性能，如表3中第2行所示。作者进行了详细实验，以分析MCSS中的最大正样本数量和类别置信度权重，即k和alpha。需要注意的是，为确保公平性，表6和表7中的实验未使用CFEM，且默认情况下MCSS应用于第二个RoI头。

最后，作者展示了特征增强前后的特征分布。图5展示了候选框特征分布在与类别感知特征交互前后的对比。不同的颜色代表不同类别的特征。可以看出，在聚合类别感知特征信息后，同一类别的候选框特征呈现出更加集中的分布，这证明了特征增强的有效性。

5. 结论

在本文中，作者专注于小目标检测任务，并提出了MAFE R-CNN方法，该方法提升了小目标样本的数量和质量。该方法巧妙地将多线索样本选择和类别感知特征增强机制集成到检测器中，采用多阶段精炼方法进行分类和回归。前者为模型训练提供了更均衡、更高质量的正面样本集，而后者通过类别感知信息增强了小目标特征的表征。所MAFE-R-CNN有效解决了小目标检测中样本不平衡和特征模糊的问题。实验结果表明，MAFE-R-CNN在大规模小目标检测基准SODA上达到了最先进的性能。

在未来的工作中，值得进一步探索解决少样本或不平衡数据挑战的小目标检测方法，提高模型在不同目标类别上的鲁棒性，以实现更精细和泛化的小目标检测。