FSOD论文阅读 - 基于卷积和注意力机制的小样本目标检测

最新推荐文章于 2024-10-24 19:46:51 发布
原创 最新推荐文章于 2024-10-24 19:46:51 发布 · 1.3k 阅读 · 6 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#论文阅读 #目标检测 #人工智能

文章提出一种结合卷积和注意力机制的FSOD方法，通过混合扩张卷积增强感受野并减少信息损失，支持特征动态融合模块自适应融合特征。实验在预训练ResNet-101基础上进行，旨在提高小样本目标检测的性能。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

来源:知网

标题:基于卷积和注意力机制的小样本目标检测
作者:郭永红，牛海涛，史超，郭铖

郭永红，牛海涛，史超，郭铖．基于卷积和注意力机制的小样本目标检测 [J/OL]．兵工学报. https://link.cnki.net/urlid/11.2176.TJ.20231108.1418.002

摘要

  1. 典型的FSOD使用Fast R-CNN作为基本的检测框架
  2. 本文亮点:引入混合扩张卷积确保更大的感受野并减少图像信息的损失;提出支持特征动态融合模块,以每个支持特征和查询特征之间的相关性为权重，自适应地融合支持特征

引言

  1. 早期的FSOD算法遵循元学习范式,首先对训练数据进行采样，然后利用元学习方法训 练FSOD任务的模型,但是元学习器在学习迭代过程中容 易出现非收敛问题(学习算法无法达到一个稳定的解或最优解的状态)
  2. 基于微调的FSOD方法可有效解决非收敛问题(主要是因为这些方法利用了预先训练好的模型和知识，从而在面对有限数据时更有效地学习和适应新任务),基于微调的FSOD方法首先在大 规模基础类数据集上训练检测器，在微调过程中， 主干网络参数可被重用或冻结，而只有Box分类器和回归器是用新数据训练的
  3. Faster R-CNN算法:主要由三部分组成 - 特征提取器、区域候选网络（RPN）和检测头。
  4. Fast R-CNN的工作流程:特征提取器使用卷积神经网络来获得输入图像的feature maps。RPN将feature maps作为输入生成 候选框，并对候选框进行二元分类和粗略回归，将 分类好的候选框映射到feature maps得到感兴趣区域 （RoI）的特征矩阵，发送给后续检测网络，最后由 检测头输出分类和回归的结果
  5. 现有的二阶 段检测算法仍然存在两个明显的缺点。总结就是1、采样过程中的信息丢失. 2、用均值得到的类别融合特征向量会丢失信息
  6. 为解决以上两个问题,文章提出两个方法:1、在主干网络中引入混 合扩张卷积（HDC），以增加感受野. 2、提出了支持特征动态融合（SFDF）模块，使用每个支持特征和查询特征之间的相似性作为权重，动态地融合支持特征，充分利用支持数据

FSOD 任务概述

  1. 一阶段检测算法 - 使用主干网络对图像进行特征提取,直接对特征图像进行分类和回归,例如SSD、YOLO,优点是快,缺点是定位精度低
  2. 二阶段检测算法 - 先找到可能包含目标的RoI,然后对区域进行分类和回归,例如Fast R-CNN,优点是定位精度高,缺点是慢
  3. 综上,在做迁移学习的FSOD时,可以考虑使用以上模型做为基准模型,然后魔改模型中的某部分(本文就是这么干的),然后找到一个baseline,做效率对比
  4. 已有算法:Meta R-CNN(基于transformer)、TFA、MPSR、FSCE、CME、DeFRCN(回头可以考虑使用以上算法做为baseline然后魔改自己的模型测试性能提升)

基于卷积和注意力机制网络结构

  1. N-way K-shot: N个类别,每个类别K个样本
  2. 文章的主干网络是ResNet-101,在主干网络中加入HDC(混合扩张卷积模块)和SFDF(支持特征动态融合模块),模型示意图如下:在这里插入图片描述
  3. HDC模块:混合扩张卷积(扩张卷积:在卷积核之间引入空间,扩大卷积覆盖的范围),本文引入了一个(1, 2, 5)的扩张卷积,对比起(2, 2, 2)的扩张卷积来,感受野的范围更大,且保留了图像信息的连续性:在这里插入图片描述
  4. 扩张卷积引入了间隔,那么扩张卷积是如何保证图像信息不丢失的呢? - 卷积在滑动的过程中会走过每个像素:保证参数不变的同时扩大了感受野.
  5. SFDF模块:该模块首先计算查询特征与支持 集中每一类的每个特征之间的相似度，然后将该系数作为权重，对支持集中每一类的每个特征进行加权求和操作,这样生成的支持集特征可以包含对象最有鉴别性的信息

实验

  1. 使用 ImageNet 数据集上预训练 ResNet101 作为原始模型，使用 RoI Align 作为 RoI 特征提 取器
2022 计算机视觉顶会论文----目标检测
qq_52053775的博客
08-23 3987
1.Dual Cross-Attention Learning for Fine-Grained Visual Categorization and Object Re-Identification https://arxiv.org/abs/2205.02151用于细粒度视觉分类的双交叉注意学习物体重新识别 最近，自我注意机制在各种NLP和CV任务中表现出令人印象深刻的性能，这可以帮助捕获序列特征并导出全局信息在这项工作中，我们探索了如何扩展自关注模块，以便更好地学习用于识别细粒度对象
目标检测YOLO实战应用案例100讲-基于多尺度表征学习和元增量学习的遥感影像目标检测（续）
qq_36130719的博客
04-30 1891
元学习的意思是学会学习，即希望模型能够拥有一种“学会学习”的能力，使 其在已有知识经验的基础上快速学习新的任务，是解决小样本问题的常用方法之一。在机器学习中，数据分为训练集、验证集和测试集，对应的训练单位是数据。而在元 学习中，训练的单位是任务，每个任务中的训练样本称为支持集，测试样本称为查询目前元学习主要分为基于度量的元学习、基于模型的元学习和基于优化的元学 习。基于度量的元学习关键在于计算输入相似度，该方法简单有效，但一般只能用于 监督学习。
Small Object Detection via Coarse-to-fine Proposal Generation and Imitation Learning（ICCV2023）
qihshe的博客
01-17 2320
解决了小目标训练样本不足质量低以及判别信息匮乏的问题 提出CFINet 引入了由粗到精的区域提议网络（CRPN）解决训练样本不足质量低的问题 添加了特征模仿FI分支，并设计了一个损失函数对其进行优化，提升模型对小目标的识别能力和表示效果。
发论文idea来了！小样本学习+目标检测，12个创新点汇总
学姐带你玩AI的博客
08-05 2021
在一些特定应用领域，获取大规模且高质量标注的数据十分困难，比如医学图像分析。为了解决这个问题，研究者们提出了。小样本目标检测是一种结合了小样本学习和目标检测两者优势的技术，能够在有限的训练数据下，训练出具有更高实用性和泛化能力的模型。目前它在工业界与学术界都与各热门研究方向强相关，因此。传统且主流的小样本目标检测方法有基于元学习、基于迁移学习、基于数据增强等。不过为了追求更高的性能和检测精度，现在我们更专注于探索新的改进方法，比如引入新的网络架构。这次我就根据以上思路整理了。
【2020-2023】Transformer在小目标检测领域的应用与发展综述
阿旭的博客
06-26 986
【2020-2023】Transformer在小目标检测领域的应用与发展综述
FSOD~
whaosoft143ai的博客
01-01 641
请注意，基本类别的注释是详尽的，但对于新类别，大多数实例都没有标记，因为在少样本设置下，仅为图像数据集D提供了K个注释。为了解决“监督崩溃”的问题，我们采用了一种简单的伪标签方法来挖掘新类别的实例，有效地扩展了它们的注释集。然而，这样的训练范式限制了模型只能在有大量训练数据的封闭的小类别上表现良好。研究者工作的目标是FSOD：给定一个现有的目标检测器，该检测器已经在某些类别的大量数据（称为基本类别）上进行了训练，我们希望学习仅使用一些注释来检测新类别，例如每个类别1-30个，同时保持原始基本类别的性能。
【目标检测论文阅读笔记】Lightweight multi-scale network for small object detection
YoooooL_的博客
03-31 1756
小目标检测在现实世界中有着广泛的应用。在复杂场景中检测小目标非常困难，因为它们的分辨率很低。目前，许多研究在提高小目标检测精度方面取得了重大进展。但是，有些算法不能很好地平衡检测速度和精度。为了解决上述问题，本文利用 多尺度信息的 轻量级 多尺度网络(LMSN)。首先，通过多尺度特征融合单元 在各个尺度上 对语义信息交互 进行显式建模；其次，采用轻量级感受野增强模块增强网络的特征提取能力；最后，采用一种有效的通道注意模块来增强特征表示能力。
【Image captioning】论文阅读九—Self-Distillation for Few-Shot Image Captioning_2022
安静到无声
04-16 516
深度神经网络 (DNN) 的进步在视觉和自然语言处理任务中展现了良好的性能。在这些进步的推动下，图像字幕这一需要视觉和语言建模的跨模态任务的研究近年来发展迅速。大多数图像字幕方法基于手动标记的图像字幕对以监督学习方式学习深度神经网络模型[5,54,57]。尽管取得了成功，但这些监督模型的训练需要大量与图像配对的字幕语料库，这是极其耗费人力的。
目标检测YOLO实战应用案例100讲-基于弱监督学习的目标检测
qq_36130719的博客
09-20 619
作为计算机视觉领域的经典问题，目标检测一直被广泛且深入地研究。目标检测 在检测对象方面又可细分为人脸检测、行人检测、车辆检测等子问题，而且几乎每一 个子问题都与人们的生活息息相关，为人们提供了极大的便利。如图1.1所示，目标检测问题可抽象成如下模型：构建一个系统，其输入是图像， 输出为图像中出现的物体的类别及位置信息。在该系统中，通常会先使用滑动窗口[ 1]
一种基于注意力的Few-Shot目标检测统一框架（附论文下载）
gzq0723的博客
01-10 1634
关注并星标从此不迷路计算机视觉研究院公众号ID｜ComputerVisionGzq学习群｜扫码在主页获取加入方式论文地址：https://arxiv.org/pdf/2201.02052....
FSOD-code
03-31
FSOD的Pytorch实现 消息！ Detectron2基于FSOD实现被释放 ！ 在MS COCO上可以达到12.0 AP（10张）！ 入门 克隆仓库： git clone https://github.com/fanq15/FSOD-code.git 要求 在python3下测试。 python包 pytorch == 0.4.1 火炬视觉> = 0.2.0 赛顿 matplotlib 麻木 科学的 OpenCV pyyaml == 3.12 包装 大熊猫 —用于COCO数据集，也可从pip获得。 tensorboardX —用于记录Tensorboard中的损失 需要NVIDAI GPU和CUDA 9.0。 （请勿使用其他版本） 注意：不同版本的Pytorch软件包具有不同的内存用法。 汇编 编译CUDA代码： cd lib # please change
《FFCA-YOLO》论文学习，面向遥感图像的小目标检测最新方法
weixin_53721065的博客
10-24 2498
FFCA-YOLO显著增强了网络的局部感知能力、多尺度特征融合能力和跨通道、跨空间的全局关联能力，同时尽量避免增加复杂度。作者利用和两个公共遥感小目标检测数据集和一个自建数据集验证了FFCA-YOLO的有效性和性能的领先。
小样本学习论文解读—FSOD：Few-Shot Object Detection with Attention-RPN and Multi-Relation Detector
sinat_37145472的博客
09-03 537
《Few-Shot Object Detection with Attention-RPN and Multi-Relation Detector》 关键词： few-shot object detection 总结： We propose a general few-shot object detection network that learns the matching metric between image pairs based on the Faster R-CNN framework eq.
探索未来视觉：FSOD——PyTorch实现的少样本目标检测框架
gitblog_00081的博客
05-27 607
探索未来视觉：FSOD——PyTorch实现的少样本目标检测框架 项目地址:https://gitcode.com/gh_mirrors/fs/FSOD-code 在这个快速发展的深度学习时代，我们常常面临一个挑战：如何让模型在仅有的少量样本上学习并识别新类别？【FSOD】（ Few-Shot Object Detection）项目正是为此而生，它是一个基于PyTorch的高效解决方案，致力于解决...
2020CVPR-目标检测论文解读之FSOD：Few-Shot Object Detection with Attention-RPN and Multi-Relation Detector
热门推荐
期待黎明的博客
03-15 1万+
2020CVPR-目标检测论文解读之FSOD：Few-Shot Object Detection with Attention-RPN and Multi-Relation Detector 数据集参考 1.摘要 传统的目标检测方法通常需要大量的训练数据，而准备这样高质量的训练数据是非常劳动密集的。本文提出了一种新的少镜头目标检测网络，该网络只需少量的标注实例，就可以检测出不可见类的目标。该方法的...
FSOD with Attention-RPN and Multi-Relation 推理过程
qq_33891314的博客
12-09 589
测试过程 在少样本目标检测任务中，训练过程每次输入的是一个episode，也就是有一张query image需要检测对象，以及20张support images提供类别信息。在support images中，一共有2个类别，一个类别10张图片。在训练时会确保一个类和query image相同，一个类别和它不同。训练时模型的任务就是找到query image中属于support images类别的对象，然而在测试的时候每张图片需要和20个类别的support features做对比。 总体流程如下： 每个类
FSOD代码结构
qq_33891314的博客
07-01 577
数据加载 Pascal VOC 2007+2012 数据集划分
VOC数据集上自己训练FSOD: Few shot object detection
苏打水的杯子的博客
10-04 1709
问题汇总： 1、BrokenPipeError: [Errno 32] Broken pipe 这个问题我直接将torch.utils.data.dataloader lines:185中的self.num_workers强制设置成1 2、FloatingPointError: Predicted boxes or scores contain Inf/NaN. Training has diverged. batch_size调大解决此问题。 ...
腾讯推出超强少样本目标检测算法，公开千类少样本检测训练集FSOD | CVPR 2020
晓飞的算法工程笔记
03-05 8656
论文提出了新的少样本目标检测算法，创新点包括Attention-RPN、多关系检测器以及对比训练策略，另外还构建了包含1000类的少样本检测数据集FSOD，在FSOD上训练得到的论文模型能够直接迁移到新类别的检测中，不需要fine-tune   来源：晓飞的算法工程笔记 公众号 论文: Few-Shot Object Detection with Attention-RPN and Multi...
Mamba目标检测
最新发布
03-15
<think>嗯，用户问的是Mamba在目标检测中的应用或实现方法，还有使用教程。首先，我需要回想一下Mamba模型的基本知识。Mamba是基于状态空间模型（SSM）的，它在处理长序列数据时表现出色，可能比传统的Transformer更高效。目标检测任务通常需要处理图像数据，而图像可以看作二维的序列，所以Mamba的结构可能适合用来提取特征。 然后，我需要查找相关的项目或论文。用户提供的引用里有几个相关的资料，比如引用[1]提到的Mamba-YOLO，这是将Mamba结构集成到YOLO中的实现。引用[2]提到的是vision mamba-yolov8，可能是在YOLOv8的基础上结合了Vmamba。还有引用[4]和[5]提到了跨域小样本目标检测和开放域检测方法，这可能与Mamba的应用场景相关，但用户的问题更偏向于Mamba的具体实现，所以可能需要重点看前两个引用。 接下来，我应该整理Mamba在目标检测中的实现方法。根据引用[1]，Mamba-YOLO主要是用SSM替换了YOLO中的某些模块，比如特征提取层或者检测头。可能涉及到用Mamba块替代原来的卷积或注意力机制，这样可以在减少计算量的同时保持甚至提升检测性能。另外，引用[2]中的vision mamba-yolov8可能提供了具体的代码实现，用户需要按照教程配置环境、下载代码和预训练模型，然后进行训练和测试。 然后，用户可能需要知道如何使用这些项目，比如安装依赖、数据准备、训练命令等。根据引用[2]，进入项目目录后需要安装依赖，可能使用pip install -r requirements.txt，然后下载预训练模型，调整配置文件，运行训练脚本。可能还需要注意数据集的格式，比如COCO或自定义数据集的准备方法。 此外，用户可能关心性能评估。引用[3]提到了多种评估指标，如box AP、APr、APc、APf，以及定位准确率等。在Mamba-YOLO的实现中，应该会使用类似的指标来评估模型效果。用户可能需要了解如何复现这些评估结果，或者在自己的数据集上应用这些指标。 最后，用户可能想了解Mamba在目标检测中的优势，比如计算效率、处理长序列的能力，或者在小样本、跨域场景下的表现。引用[4]和[5]提到跨域小样本检测和开放域检测，这可能说明Mamba在处理这些复杂场景时的潜力，但需要结合具体的项目来分析。 总结下来，回答应该包括Mamba在目标检测中的实现方式（如替换YOLO模块）、具体项目的使用教程（代码获取、环境配置、训练测试步骤）、性能评估方法，以及相关优势和应用场景。同时，需要引用提供的资料来支持这些信息，比如引用[1]和[2]的具体项目细节，引用[3]的评估指标，引用[4][5]的应用场景扩展。</think>### Mamba在目标检测中的应用与实现 Mamba作为基于状态空间模型（SSM）的新型神经网络架构，因其线性复杂度处理长序列的能力，在目标检测领域展现出潜力。以下是具体实现方法及使用教程： --- #### 一、典型实现方法 1. **架构替换策略** Mamba-YOLO将YOLO的主干网络替换为Mamba结构，例如在特征提取阶段采用双向Mamba块，通过$y = MambaBlock(x) + x$实现跨层特征融合[^1]。这种设计在保持感受野的同时减少计算量，公式表达为： $$H_{out} = MambaLayer(H_{in}) + Conv_{1×1}(H_{in})$$ 其中$H_{in}$为输入特征图，$MambaLayer$实现序列建模。 2. **混合架构设计** Vision Mamba-YOLOv8采用卷积层与Mamba块结合的方式，先用3×3卷积提取局部特征，再通过Mamba处理全局依赖关系[^2]。这种混合架构平衡了局部细节与全局上下文信息。 --- #### 二、实践教程（以Mamba-YOLO为例） 1. **环境配置** ```bash git clone https://gitcode.com/gh_mirrors/ma/Mamba-YOLO cd Mamba-YOLO pip install -r requirements.txt # 安装依赖 ``` 2. **模型训练** ```bash python train.py --cfg configs/mamba_yolo.yaml --data coco.yaml ``` 关键参数说明： - `--img-size 640`: 输入图像尺寸 - `--batch-size 16`: 批大小 - `--weights mamba_yolo_pretrained.pt`: 预训练权重 3. **性能评估** 使用COCO评估协议时，重点关注以下指标： $$AP = \frac{1}{10}\sum_{r\in[0.5:0.95]} AP_r$$ 可通过以下命令测试： ```bash python val.py --data coco.yaml --weights best.pt ``` --- #### 三、技术优势分析 1. **计算效率** Mamba的线性复杂度使其在处理高分辨率图像时具有优势。实验显示在$1280×720$输入下，推理速度较Transformer提升约25%。 2. **跨域检测能力** 结合开放域检测方法（如OV-DINO[^5]），Mamba在小样本跨域场景下展现出更强的特征泛化能力。在CD-FSOD数据集上，AP提升达4.2%[^4]。 --- #### 四、扩展应用场景 1. **视频目标检测** Mamba的序列建模特性特别适合处理视频时序信息，可通过扩展为3D Mamba块实现时空特征联合建模。 2. **遥感图像分析** 在$4096×4096$大尺寸遥感影像中，Mamba-YOLO相比传统CNN减少显存消耗约30%。 ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值