Effective Fusion Factor in FPN for Tiny Object Detection

基于深度学习的小目标检测方法综述 随着深度学习的发展,基于深度学习的目标检测技术取得了巨大的进展,但小目标由于像素少,难以提取有效信息,造成小目标的检测面临着巨大的困难和挑战. 为了提高小目标的检测性能,研究人员从网络结构、训练策略、数据处理等方面展开了大量的研究,并取得了一定的进展. 然而,与大、中目标检测相比,目前小目标的检测性能依然存在着较大的差距. 目标尺度是影响目标检测性能的重要因素之一. 目前,无论在公开数据集还是现实世界采集的图像中,小目标的检测精度远远低于大目标和中等尺度目标,并经常出现漏检和误检. 但小目标检测在许多实际 阅读详情

Effective Fusion Factor in FPN for Tiny Object Detection

论文地址:https://arxiv.org/pdf/2011.02298.pdf

论文发表于 2021 WACV

摘要

基于FPN的detector在一般目标检测方面取得了重大进展,例如MSCOCO和PASCAL VOC。 然而,这些检测器在某些应用场景中失败,例如微小的对象检测。 在本文中,我们认为FPN中相邻层之间的自顶向下连接对微小物体检测带来了两面影响,而不仅仅是正面的。

我们提出了一种新的概念,融合因子,用于控制深层传递到浅层的信息,使FPN适应于微小物体的检测。

经过一系列的实验和分析,我们探索如何用统计方法估计特定数据集的融合因子的有效值。 估计取决于每个层中分布的对象的数量。 对微小物体检测数据集进行了全面的实验,例如Tiny persons、和Tiny CityPersons。 我们的结果表明,当用适当的融合因子配置FPN时,网络能够在微小对象检测数据集的基线上获得显著的性能增益。

总结

以后写论文引用:

结论:调整FPN相邻层的融合因子可以自适应地推动浅层集中学习微小物体,从而提高微小物体的检测能力。

结论:融合因子受到每个层可以检测目标数量的影响,

结论:同时融合因子可以通过隐式方法进行学习。

这篇论文提出了一个重要观点,特征融合会受到数据集目标尺度分布的影响,而大多数特征融合方式都忽略了这一因素

本文得出结论:小目标大多分布在FPN的P2,P3层。

introduction

在这一部分中,作者提出了融合因子的概念,并通过暴力搜索融合因子α的取值,在COCO,VOC,TinyPerson数据集上进行验证。

在这里插入图片描述
在这里插入图片描述

通过对比只有在小目标数据集TinyPerson,Tiny CityPersons中检测性能会有首先先增加然后再下降的一个过程,融合因子存在着一个最优值的取值范围。

同时也可以看出对于VOC和COCO这样的常规数据集,融合因子的取值变化对于mAP值没有多大的影响。

并得出结论,传统的FPN对应的融合因子α为1,不适合于微小物体的检测

2. Related Work

2.1介绍了关于object detection的一些数据集

比如COCO,VOC,行人数据集,人脸数据集,遥感数据集等等。。

2.2介绍了小目标检测

[1]Xuehui Yu, Yuqi Gong, Nan Jiang, Qixiang Ye, and Zhenjun Han. Scale match for tiny person detection. In WACV, pages1246–1254, 2020.

[2]Bharat Singh and Larry S Davis. An analysis of scale invariance in object detection - snip. CVPR, 2018.

[3] Bharat Singh, Mahyar Najibi, and Larry S Davis. Sniper:Efficient multi-scale training. NeurIPS, 2018.

[4]Chunfang Deng, Mengmeng Wang, Liang Liu, and Yong Liu. Extended feature pyramid network for small object detection. CVPR, 2020.

[5]Junhyug Noh, Wonho Bae, Wonhee Lee, Jinhwan Seo, and Gunhee Kim. Better to follow, follow to be better: Towards precise supervision of feature super-resolution for small object detection. ICCV, pages 9725–9734, 2019.

[6]Yukang Chen, Peizhen Zhang, Zeming Li, Yanwei Li, Xiangyu Zhang, Gaofeng Meng, Shiming Xiang, Jian Sun, and Jiaya Jia. Stitcher: Feedback-driven data provider for object detection. CVPR, 2020

[7]Yanghao Li, Yuntao Chen, Naiyan Wang, and Zhaoxiang Zhang. Scale-aware trident networks for object detection. CVPR, 2019.

同时还提出有学者将超分辨被引入小目标检测中来

上述这些方法在一定程度上提高了小目标检测的性能。

2.3介绍了目标检测中的特征融合

比如FPN,PANet,Libra-RCNN,NAS-FPN等等,这都是比较经典也比较成功的用于目标检测的特征融合手段

[1]Tsung-Yi Lin, Piotr Dollar, Ross Girshick, Kaiming He,Bharath Hariharan, and Serge Belongie. Feature pyramid networks for object detection. In CVPR, July 2017.

[2]Shu Liu, Lu Qi, Haifang Qin, Jianping Shi, and Jiaya Jia.Path aggregation network for instance segmentation. CVPR,pages 8759–8768, 2018.

[3]Tao Kong, Fuchun Sun, Wenbing Huang, and Huaping Liu.Deep feature pyramid reconfiguration for object detection. In ECCV, pages 172–188, 2018

[4] Jiale Cao, Yanwei Pang, Shengjie Zhao, and Xuelong Li.High-level semantic networks for multi-scale object detection. TCSVT, pages 1–1, 2019

[5]Jing Nie, Rao Muhammad Anwer, Hisham Cholakkal, Fahad Shahbaz Khan, Yanwei Pang, and Ling Shao. Enriched feature guided refinement network for object detection. ICCV, pages 9537–9546, 2019.

[6]Ke Sun, Bin Xiao, Dong Liu, and Jingdong Wang. Deep high-resolution representation learning for human pose estimation. CVPR, 2019.

[7]Jiangmiao Pang, Kai Chen, Jianping Shi, Huajun Feng,Wanli Ouyang, and Dahua Lin. Libra r-cnn: Towards balanced learning for object detection. CVPR, 2019.

[8]Songtao Liu, Di Huang, and Yunhong Wang. Learning spatial fusion for single-shot object detection. 2019

[9]Xinjiang Wang, Shilong Zhang, Zhuoran Yu, Litong Feng,and Wayne Zhang. Scale-equalizing pyramid convolutionfor object detection. CVPR, 2020.

[10] Golnaz Ghiasi, Tsungyi Lin, and Quoc V Le. Nas-fpn:Learning scalable feature pyramid architecture for object detection. CVPR, pages 7036–7045, 2019.

[11]Mingxing Tan, Ruoming Pang, and Quoc V Le. Efficientdet: Scalable and efficient object detection. CVPR, 2019.

得出结论:它们都忽略了特征融合会受到数据集尺度分布的影响

因为作者实验:CityPersons对融合因素的表现趋势与TinyPerson和Tiny CityPersons的表现趋势不同

3.Effective fusion factor

定义了融合因子α,并对融合因子进行分析

在这里插入图片描述
首先得出的结论就是,小目标大多分布在FPN的P2,P3层。

为了探索如何获得有效的α,首先研究什么可以影响融合因子的有效性。
我们假设数据集的四个属性影响α:

  • 物体的绝对大小;
  • 物体的相对大小;
  • 数据集的数据量;
  • 对象在FPN中各层的分布。

作者对Tiny CityPersons数据集进行上采样之后再控制融合因子α得出图像:
在这里插入图片描述

说明融合因子对小目标有效,小目标放大后融合因子的变化基本上没有作用,因此,得出结论,物体的绝对大小而不是其他三个因素正好影响融合因子的有效性。

其实我自己认为目标在FPN各层的分布也影响着融合因子

然后作者对融合因子的学习提出了实验:

1.蛮力解决方案,根据图枚举α;
2. 一种可学习的方式,其中α被设置为一个可学习的参数,由损失函数优化;
3. 一种基于注意的方法,其中α由自注意模块生成;
4. 一种基于统计的解决方案,它利用数据集的统计信息来计算α;
在这里插入图片描述
在这里插入图片描述

通过对比试验,,基于统计的融合因子α最具有代表性,性能也最佳。
在这里插入图片描述

3.3介绍了融合因子α还可以通过隐式学习

3.4对融合因子α提出了数学解释

4.Experiment

在TinyPerson数据集和上做了实验,证明了融合因子的有效性。
在这里插入图片描述

在这里插入图片描述

作者的结论是,调整FPN相邻层的融合因子可以自适应地推动浅层集中学习微小物体,从而提高微小物体的检测能力。 此外,广泛的实验通过配置不同的实验条件,包括不同的检测器、不同的骨干和不同的数据集,证明了该方法的有效性。

本篇文章于2020年11月放到arxiv上,中的2021年的WACV。

总结来说比较新,这个基于统计的融合因子提升小目标检测性能的trick可以用在自己的毕业设计上。

WACV 2021| FPN中用于微小目标检测的有效融合因子 基于FPN的探测器在一般目标检测方面取得了显著的进展,如MS COCO和PASCAL VOC。然而,这些检测器在某些应用场景下会失败,例如,微小物体检测。 本文认为,FPN中相邻层之间的自顶向下连接为微小目标检测带来了双面影响,而不仅仅是正面影响。我们提出了一个新的概念,fusion factor,以控制信息从深层传递给浅层,以适应FPN的微小目标检测。通过一系列的实验和分析,我们探讨了如何通过统计的方法来确定某一特定数据集融合因子的有效值。该估计依赖于分布在每一层的对象数量。在微小物体检测数据集,如Ti 阅读详情

相关推荐

FPN的改进----引入融合因子(fusion factor)提升对小目标的检测能力

原文链接: Effective Fusion Factor in FPN for Tiny Object Detection 本文提出了一种新的概念:融合因子(fusion factor),以控制深层传递到浅层的信息,以使FPN适应小目标的检测,实验证明,在小目标检测数据集上(如TinyPerson)性能提升明显。 动机 An intuitive question arises: why current FPN-based detectors unfit tiny object detection and

weixin_42108090的博客 5327

【文献阅读11】Effective Fusion Factor in FPN for Tiny Object Detection-小目标检测的FPN有效融合因子

Effective Fusion Factor in FPN for Tiny Object Detection-目标检测的FPN有效融合因子AbstractIntroduction2. Related Work2.1. Dataset for Detection2.2. Small Object Detection2.3. Feature Fusion for Object Detection3. Effective fusion factor3.1. What affect the effectiven

我是大阿周的学习博客 4684

【即插即用模块】注意力篇 | AAAI 2025 | HFP:能涨2个点!双路DCT高通滤波+注意力,又轻又准!

这篇文章介绍了一种名为HS-FPN的模块,专门用于增强微小物体检测性能。该模块的核心是高频感知(HFP)组件,通过离散余弦变换(DCT)在频率域提取高频信息,强化小目标的边缘和纹理特征。HFP采用双路径设计:空间路径生成高频响应掩码,突出目标区域;通道路径利用自适应池化和分组卷积生成通道权重,放大关键特征。实验表明,该模块能显著提升小目标检测精度,特征可视化显示其有效增强了微小物体的特征表达。模块代码支持即插即用,适用于各种需要高频信息增强的检测任务。

主要更新底层视觉(去噪、超分等)相关的科研内容,形式为【论文精读】+【论文复现】 721

(WACV2021)Effective Fusion Factor in FPN for Tiny Object Detection

引入融合因子来改进FPN检测器在微小目标检测领域的性能。

Maggie_JK的博客 857

SSD/DSOD/Tiny-DSOD/FPN解读

SSD/DSOD/Tiny-DSOD/FPN解读

workbench 流固耦合_基于ANSYS 2019R1全解一款双吸泵的双向流固耦合方法

一、导读对于旋转机械来说,传统设计从理论计算到手工木模图,再到模型泵的加工制造,最后进行相关性能试验。当性能试验与预期效果差距较大的时候还需要修改水力模型。这种传统的设计不仅设计周期长,而且成本也高,在没有成熟的水力模型参考的情况下做设计风险也较大。而日益强大的CFD技术为旋转机械行业的发展提供了非常有力的工具。大量工程实践证明像CFX、Fluent以及Pumplinx等流产分析软件具有较高的计算...

weixin_39604280的博客 4762

ESOD:高分辨率图像上的高效小目标检测

小目标检测

追赶时代的博客 507

ubuntu22.04 安装部署 openclaw

ubuntu22.04 安装部署 openclaw

nalanxiaoxiao2011的博客 1018

告别冗余!AAAI 2025 HFP模块:即插即用的双路DCT设计,在多个任务上实现SOTA

其设计灵感来源于传统图像处理:微小目标的边缘、纹理等细节信息主要对应频域中的高频分量,而大面积的平滑背景则对应低频分量。从图4可以看出,原始特征图(左)中,微小目标的响应非常微弱,几乎淹没在背景中。经过HFP模块处理后(右),目标的特征响应被显著增强,轮廓更加清晰,与背景的区分度也更高。HS-FPN的整体结构与FPN相似,保留了自底向上和自顶向下的双路径设计。SDP通过在局部区域内精确匹配高低层特征,有效缓解了因上采样导致的像素不对齐问题,并利用高层特征丰富的语义信息来指导和丰富低层的微小目标特征。

2501_92747663的博客 1008

【QT】基于QSerialPort的跨平台串口通信实战指南

本文是一份基于Qt QSerialPort模块的跨平台串口通信实战指南。详细介绍了从硬件基础、QSerialPort核心类使用、参数配置、设备自动发现到数据异步读写和错误处理的完整流程,并通过构建一个功能齐全的串口调试助手实例,帮助开发者快速掌握在Windows、Linux和macOS系统下进行高效、稳定的串口应用开发。

a1b2c3d的博客 983

OPNET卫星节点仿真避坑指南:为什么你的STK轨道文件导入后位置不对?

本文深入解析OPNET卫星节点仿真中STK轨道文件导入后位置异常的常见问题,揭示坐标系差异(ECI与ECF)、时间基准不匹配等关键因素。通过修改.SA文件头标识、统一时间基准等解决方案,帮助工程师避免仿真失真,提升卫星通信系统仿真的准确性。特别适用于STK与OPNET协同工作的卫星网络仿真场景。

weixin_30335575的博客 604

【即插即用模块】AAAI2025 | 高频 + 空间感知!新 HS-FPN 让“极小目标”不再消失!SCI保二区争一区!彻底疯狂!!!

针对 FPN 在小目标检测中存在的 “特征有限、缺乏关注、空间感知不足” 三大问题,提出 HS-FPN 网络,通过高频感知模块(HFP)和空间依赖感知模块(SDP)增强小目标特征表达与空间关联性;在 AI-TOD、DOTA_minil0 等数据集上验证,相比基线模型 AP 提升 1.2-3.4 个百分点,且易嵌入现有检测框架。高频特征增强:HFP 模块(High Frequency Perception)通过 DCT + 高通滤波器 提取高频响应,专门增强微小目标的“边缘/细节”特征。

猫天意的博客 1120

MT 103 Single Customer Credit Transfer单笔客户转账

MT 103 Single Customer Credit Transfer单笔客户转账 MT103电文能通过三种方式交换,依赖电文使用的业务场景。 (1)   核心MT103电文是一个通用电文,发送和接收此电文不需要在电文用户组(MUG)注册。允许使用所有MT103电文域来交换单客户转账,除了77T域(信封内容)。MT103电文如果是根据预先约定的双边/多边规则的格式,则可以直通处理。 (

shuytu 1万+

从AAAI2025中挑选出对目标检测有帮助的文献——第三期

SdalsNet 提供局部注意力偏移 + 自蒸馏机制;这种结构轻量、逻辑连贯,非常适合医学影像检测。HS-FPN 提供全局高频空间特征融合;

Sakura_zhl的博客 698

比亚迪唐/秦开发者必看:253个车辆接口实战指南(附常用功能调用示例)

本文为比亚迪唐/秦开发者提供了一份详尽的车辆接口实战指南。文章聚焦于比亚迪开放的253个车辆接口,从开发环境搭建、核心状态监控到高频控制功能(如空调与充电管理),结合真实代码示例,帮助开发者快速上手并规避常见问题,高效开发车载应用。

weixin_28327051的博客 616

DeepSeek 赋能太空探索:从轨道优化到星际开拓的 AI 革命

随着人工智能技术蓬勃发展,DeepSeek 在太空探索领域展现出巨大应用潜力。本文深入剖析 DeepSeek 技术核心,包括低功耗运算、开源生态等优势,阐述其与传统航天技术的差异。从航天器自主控制、深空探测、载人航天等关键环节,结合实时轨道调整、故障诊断修复等实例,揭示 DeepSeek 对航天任务效率与安全性的提升作用。同时探讨其应用面临的太空环境适应、伦理安全等挑战,展望技术演进方向及与前沿技术融合前景,展现 DeepSeek 为人类太空探索带来的变革与深远意义。

邓邓子的博客 2261

【论文阅读】【二维目标检测】Object Detection中的Scale问题

文章目录FPN:Feature Pyramid Networks for Object DetectionSNIP:An Analysis of Scale Invariance in Object DetectionSNIPER: Efficient Multi-Scale TrainingTrident:Scale-Aware Trident Networks for Object Detec...

麒麒哈尔的博客 1500

088、多摄像头跨镜目标追踪 ID 频繁切换?ReID 特征 + 轨迹关联 + 时间约束方案

文章摘要:本文针对多摄像头跨镜目标追踪中ID频繁切换的问题,提出了一种结合ReID特征、轨迹关联和时间约束的综合解决方案。作者分析了ID切换的三个主要原因:ReID特征不稳定、轨迹关联依赖最近邻匹配以及忽略时间约束。通过改进ReID特征提取(多层特征融合)、引入轨迹预测(卡尔曼滤波)和添加时间窗口约束,成功将ID切换率从35%降至3%以下。文章详细分享了实现细节和踩坑经验,为跨摄像头目标追踪提供了实用优化思路。

ai技术增长的博客 170

小目标检测:HS-FPN详解

本文详细讲解了HS-FPN,通过高频率感知模块(HFP)和空间依赖感知模块(SDP)增强小目标检测性能。HFP采用双分支结构,利用DCT变换进行高通滤波来保留微小物体特征;SDP改进自注意力机制,解决特征错位问题。实验表明,在VisDrone数据集上,HS-FPN比原版Faster-RCNN的mAP50-95提升2.4%(0.286→0.293)。论文创新性地结合频域分析与空间感知,为小目标检测提供新思路。

m0_62919535的博客 1913

Devexpress16.2.6破解工具

Devexpress16.2.6破解工具Devexpress16.2.6破解工具Devexpress16.2.6破解工具Devexpress16.2.6破解工具

WINCC7.3破解文件

WINCC7.3硬件够破解文件,有需要的下载!WINCC7.3硬件够破解文件,有需要的下载!

即插即用系列 | AAAI 2025 HS-FPN 论文解读:基于频域分析与空间感知的小目标检测

本文提出HS-FPN网络,通过频域和空间感知增强小目标检测。针对小目标特征微弱问题,设计了高频感知模块(HFP)利用DCT变换提取高频特征,增强小目标信号;同时提出空间依赖感知模块(SDP),通过像素级交叉注意力解决特征不对齐问题。实验表明,在AI-TOD数据集上HS-FPN使Faster R-CNN的AP提升2.0,Cascade R-CNN提升3.4。该网络计算开销小,模块可即插即用,适用于小目标检测和遥感图像处理任务。

分享顶会顶刊论文即插即用模块 1749

OV9734 DATASHEET,完整规格书

OV9734完整规格书,包括电气参数,尺寸规格,寄存器配置表等

HS-FPN:面向微小目标检测的高频与空间感知特征金字塔网络

特征金字塔网络(Feature Pyramid Network, FPN)的引入显著提升了目标检测性能。然而,在检测微小目标时仍面临巨大挑战,因为微小目标的特征在特征图中仅占据极小比例。尽管FPN融合了多尺度特征,但它并未直接增强或丰富微小目标的特征。此外,FPN缺乏空间感知能力。为解决这些问题,我们提出了一种新颖的高频与空间感知特征金字塔网络(HS-FPN),包含两个创新模块。首先,我们设计了一个高频感知模块(HFP),通过高通滤波器生成高频响应。

AI浩 847

VC中sqlite的使用

在VC中对sqlite的使用,实现数据库大批数据的快速插入,读取数据库中的数据在ListCtrl中显示

目标检测之殇——小目标检测(转载)

原文链接:目标检测之殇——小目标检测 - 知乎 目标检测作为一项发展了20年的技术,技术层面已经非常成熟,涌现了一大批如Faster R-CNN、RetinaNet、YOLO等可以在工业界实用的目标检测方法,但小目标检测性能差的问题至今也没有被完全解决。因为Swin Transformer的提出,COCO test-dev上的已经刷到61 ,但小目标检测性能(即)和大目标检测性能(即)仍然差距悬殊,是的1.7倍(74 AP vs 44 AP)。从某方面讲,现在COCO刷不上去的一个主要原...

qq_42455922的博客 2272

YOLO_Online 将深度学习最火的目标检测做成在线服务实战经验分享

部分 YOLO 结果: YOLO_Online 将深度学习最火的目标检测做成在线服务 第一次接触 YOLO 这个目标检测项目的时候,我就在想,怎么样能够封装一下让普通人也能够体验深度学习最火的目标检测项目,不需要关注技术细节,不需要装很多软件。只需要网页就能体验呢。 在踩了很多坑之后,终于实现了。 效果: 1.上传文件 2.选择了一张很多狗的图片 3.YOLO...

算法攻城狮 4171

经典文章系列:Feature Pyramid Networks for Object Detection(FPN)论文阅读

概述 本文是对 Faster R-CNN 在目标检测问题上的进一步完善。Faster R-CNN 有两个步骤, RPN以及 Fast R-CNN,在这两个步骤上FPN都利用更多的卷积特征图(Feature pyramid map)信息来提升RPN和 Fast R-CNN的效果。思想是参考 Fully Convolutional Networks for Semantic Segmentation...

Mingjian_LI的博客 794
上一篇: HyperNet:Towards Accurate Region Proposal Generation and Joint Object Detection
下一篇: Arbitrary-Oriented Ship Detection Based on Rotation Region Locating Networks in Large Scale Remote
practical_sharp
博客等级 码龄8年 500粉丝 148原创
评论 4
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值