【CVPR2024】Few-Shot Object Detection with Foundation Models

原创 已于 2024-07-25 16:53:10 修改 · 7.5k 阅读 · 61 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#目标检测 #目标跟踪 #人工智能 #transformer #计算机视觉 #深度学习

于 2024-07-25 16:51:08 首次发布

【CVPR2024】Few-Shot Object Detection with Foundation Models

机构：哥伦比亚大学、中佛罗里达大学

论文地址：https://openaccess.thecvf.com/content/CVPR2024/html/Han_Few-Shot_Object_Detection_with_Foundation_Models_CVPR_2024_paper.html

作者简介：Ser-Nam Lim，马里兰大学帕克分校博士学位，2018年-2023年在Meta（前身Facebook）参与计算机视觉、NLP和其他AI领域的研究，研究内容主要是确保航空和电力行业的安全、检测Meta平台上的错误信息，最近专注于AI用于对用户内容的推荐，包括大语言模型（LLM）和计算机视觉交叉点的搜索引擎，2023年秋季加入中佛罗里达大学。代表工作为Visual prompt tuning。

本文主要目的是提高小样本目标检测的精度，用DINOv2预训练的模型作为视觉backbone，使用大语言模型（LLM）来对类别、查询图像这两种输入信息进行上下文小样本学习。使用精心设计的语言指令提示LLM来为每个候选区（proposal）进行分类，所使用的上下文信息包括proposal-proposal关系、proposal-class关系、class-class关系。所提出的FM-FSOD方法在多个FSOD基准数据集上取得了SOTA性能。

文章贡献/创新点

  • 文章研究基于基础模型的小样本目标检测，重点关注视觉特征提取和上下文proposal分类。
  • 文章使用了基于DINOv2的全Transformer检测框架实现对大量样本和小样本类别的高泛化性。
  • 使用大语言模型简化query和support之间的建模，自动学习丰富的上下文信息。
  • 在PASCAL VOC和MSCOCO小样本评测基准上取得了SOTA性能。

小样本目标检测（FSOD）任务定义

FSOD任务有基类 C b a s e C_{base} Cbase​和新类 C n o v e l C_{novel} Cnovel​两种类别， C = C b a s e ∪ C n o v e l C=C_{base}\cup C_{novel} C=Cbase​∪Cnovel​并且 C b a s e ∩ C n o v e l = ∅ C_{base}\cap C_{novel}=\emptyset Cbase​∩Cnovel​=∅，基类有足够多的样本而新类只有少量样本。对于 K K K-shot小样本任务，数据集中的每个新类只有 K K K个检测框标注，通常 K = 1 , 3 , 5 , 10 , 30 K=1,3,5,10,30 K=1,3,

最低0.47元/天 解锁文章
小样本目标检测(Few-Shot Object Detection)综述
qq_44197482的博客
11-12 3561
小样本目标检测综述
Few-Shot Object Detection目标检测
weixin_45900524的博客
05-27 2041
1.问题定义   首先明确定义问题。给定支持图像和查询图像，目标是找出查询图像中所有属于支持类别的目标；同时用紧密边框标示出来。   如果问题的支持对象，包含N个支持类别，每个类别中有K个样本，那么就是N-way K-shot 检测问题。小样本检测问题中的小样本就是指shot很少。 2.深度注意力小样本检测模型   下面进入模型的第一部分。   这张图展示了深度注意力小样本检测的整体模型，我们构建了一个权重共享网络，它的基础是Faster R-CNN网络，其中包含RPN和检测器。   在Faster R
Few-shots object detection
weixin_43489950的博客
03-17 2193
论文提出了新的少样本目标检测算法，创新点包括At...
Few-Shot Video Object Detection
05-08 1343
主要贡献：1.提供一个包含500种平衡类的大尺度视频数据集FSVOD-500用于小样本视频目标检测学习。2.提出了一个新颖的Tube Proposal Network（TPN）来生成高质量的视频tube proposal为视频目标获得聚合的特征表示。3.一种改进策略的时间匹配网络(TMN+)来匹配具有代表性的query tube特征，并具有更好的识别能力。 其中TPN和TMN+联合进行端到端训练。
【论文总结】Few-shot Object Detection via Feature Reweighting（附翻译）
小张好难瘦的博客
11-01 4358
论文地址：https://arxiv.org/abs/1812.01866 代码地址：https:// github.com/bingykang/Fewshot_Detection 目录 摘要 1 介绍 2 相关工作 3 方法 3.1. Feature Reweighting for Detection用于检测的特征重加权 3.2. Learning Scheme 4 实验 4.1. Experimental Setup 实验设置 4.2. Comparison with Ba...
Few-Shot Object Detection: A Comprehensive Survey
weixin_46831727的博客
09-05 1190
仅使用少量已标注的实例检测新的物体。
CVPR-2024-卫星遥感图像相关论文 16篇
weixin_42155685的博客
10-14 3190
文章解读: http://www.studyai.com/xueshu/paper/detail/00ffce4794文章链接: (https://openaccess.thecvf.com/content/CVPR2024/html/Kuckreja_GeoChat_Grounded_Large_Vision-Language_Model_for_Remote_Sensing_CVPR_2024_paper.html)Recent advancements in Large Vision-Language
CVPR 2024 图像生成方向总汇（视频合成/生成、纹理生成/合成、二维码生成、文本-矢量、手写数学表达式和文本-3D等）
qq_36812406的博客
01-21 1358
纹理生成/合成、二维码生成、文本-矢量、手写数学表达式和文本-3D等
CVPR2023检测相关Detection论文速览上
weixin_44287798的博客
06-22 1852
CVPR2023论文速览Detection上
【火】CVPR-2025 扩散模型论文合集及详细解读
weixin_42155685的博客
10-13 1086
CVPR 2025扩散模型研究合集展示了该领域的最新进展。主要创新包括：视频编辑技术Align-A-Video和FADE；医学图像处理应用如肿瘤分割；4D肖像生成CAP4D；自动驾驶DiffusionDrive；隐私保护方法CDI和版权保护技术；以及量化优化如4位FP量化。研究还探索了扩散模型自监督学习特性，并提出了多项应用创新，如无需训练的VidSeg视频分割和个性化微调方法。这些工作展现了扩散模型在计算机视觉领域的广泛适用性。
小样本（少样本）目标检测概述（few-shot object detection）
热门推荐
qq_43799400的博客
04-11 3万+
文章目录一、小样本目标检测简介二、小样本目标检测的方法2.1 基于微调的方法2.2 基于元学习的方法三、小样本目标检测现有的问题四、参考资料 一、小样本目标检测简介 小样本目标检测 FSOD（few-shot object detection)，是解决训练样本少的情况下的目标检测问题。 通过应用较少的标注数据的半监督方法或者利用不完全匹配的标注数据的弱监督方法，利用极少的标注数据学习具有一定泛化能力的模型显得较为重要，这也是小样本学习的所需要解决的问题。 人类视觉可以通过对新事物极少的学习就可以获得永久的记
(Few-shot detection)Review: Transductive Learning for zero-shot object detection
Bryce1010's Blog
12-06 825
Ref 半监督学习 - - 直推学习（Transductive learning） 1. 提出问题 在做zero-shot detection的时候，由于源数据(Seen)和目标数据集(unseen)之间的数据分布并不匹配，导致了严重的域偏移问题； 由于模型是根据seen的数据训练的，导致引入了较大的偏差，在一般的zero-shot设定下，会把unseen数据更大概率的预测成seen里面的...
少样本目标检测终极指南：TFA框架完全解析
最新发布
gitblog_00051的博客
01-07 461
少样本目标检测是计算机视觉领域的前沿技术，能够在仅用少量标注样本的情况下实现准确的目标识别。FsDet项目基于ICML 2020论文《Frustratingly Simple Few-Shot Object Detection》，提供了一套完整的少样本目标检测框架实现。 🎯 **核心优势**：相比传统目标检测需要大量标注数据，少样本学习仅需1-30个样本即可训练出高性能模型！ ## 📊 项
CVPR 2024 | 基于基础模型的少样本目标检测
m0_59235945的博客
06-25 1603
少样本目标检测（FSOD）旨在通过少量训练样本检测目标。视觉特征提取和查询-支持相似性学习是两个关键组件。现有的工作通常基于ImageNet预训练的视觉骨干网络，并设计复杂的度量学习网络进行少样本学习，但精度仍然较低。在本工作中，作者研究了使用现代基础模型的少样本目标检测。首先，使用仅视觉对比预训练的DINOv2模型作为视觉骨干，该模型在不调整参数的情况下表现出强大的可迁移性能。其次，使用大型语言模型（LLM）进行上下文少样本学习，输入所有类别和查询图像提议。精心设计的语言指令提示LLM在上下文中对每个提议
论文《Few-Shot Object Detection with Model Calibration》的解读
qq_60498436的博客
07-30 1596
少样本目标检测（Few-Shot Object Detection, FSOD）旨在将已知类别的知识转移到未知类别，以检测新类别的目标。然而，以往的研究忽略了转移学习过程中固有的模型偏差问题。这种模型偏差导致了对训练类别的过拟合，并破坏了已学到的可转移知识。本文全面探讨了FSOD模型中的模型偏差问题，并提出了一种简单而有效的方法，通过在三个层次上进行模型校准来解决模型偏差问题：1）骨干网络校准，以保留已学到的先验知识并缓解对基本类别的模型偏差；2）区域建议网络（RPN）校准，以识别新类别的未标记目标；
RepMet: few-shot object detection
weixin_43489950的博客
09-30 293
https://zhuanlan.zhihu.com/p/85704258
Few-Shot Object Detection with Sparse Context Transformers
weixin_48211296的博客
05-16 2151
少样本检测是模式识别中的一项重要任务，旨在使用仅有少量标注数据训练的模型来定位目标。少样本方法的主流之一是迁移学习，其过程是在源域中预训练一个检测模型，然后在目标域中对其进行微调。然而，对于微调后的模型来说，有效识别目标域中的新类别是具有挑战性的，特别是当基础标注训练数据稀少时。在本文中，我们设计了一种新颖的稀疏上下文变换器（SCT），该变换器能够有效利用源域中的目标知识，并且自动从目标域中的少量训练图像中学习稀疏上下文。
Few-shot object detection via data augmentation and distribution calibration
weixin_48211296的博客
06-13 974
在本节中，详细介绍了所提出的方法。基础训练阶段：在此阶段，模型使用基本类别的所有样本实例进行训练，并计算基本类别的特征分布，为后续的漂移补偿做准备。微调阶段首先，利用域感知数据增强来缓解数据稀缺性其次，根据增强样本与新类别样本之间的距离优化增强数据；再次，采用移位补偿策略，确保基本类别的分布移位不会误导新类别的分布；最后，使用分布校准在增强样本和新类别样本上微调模型。所提出的两阶段学习过程的构建如图2所示。对于 Faster R-CNN 模型，首先从每个候选区域提取 ROI 特征。
Few-Shot Object Detection with Sparse Context Transformers-CVPR论文汇报
qq_73697176的博客
07-12 1115
迁移学习就是在源域（source domain）上训练好一个检测模型后，送到目标域（target domain）上微调。
解读文献《Few-Shot Anomaly Detection for Industrial Surfaces via Meta-Learning (CVPR 2022)》
07-09
### 方法概述 文献《Few-Shot Anomaly Detection for Industrial Surfaces via Meta-Learning (CVPR 2022)》提出了一种基于元学习的少样本工业表面异常检测方法。该方法的核心思想是通过模拟多任务学习环境，使模型能够在少量正常样本的情况下快速适应新类别的异常检测任务[^1]。其整体框架结合了深度神经网络与元学习策略（MAML），旨在提升模型在有限数据下的泛化能力。 - **双分支特征提取架构**：模型采用双分支结构，分别处理全局信息和局部细节。全局分支负责重建图像的整体结构，而局部分支则专注于捕捉微小缺陷区域的变化。这种设计使得模型能够同时关注宏观一致性与微观异常特征[^2]。 - **元学习优化机制**：训练过程中，每个任务由一组支持集（support set）和查询集（query set）构成。支持集中包含少量正常样本，用于更新模型参数；查询集用于评估当前模型在未见过的数据上的表现。通过不断迭代，模型学会了如何根据少量示例快速调整自身参数以适应新的检测任务[^3]。 - **自注意力增强重构损失**：为了进一步提升异常定位精度，作者引入了基于自注意力机制的损失函数。该损失不仅考虑像素级别的重构误差，还引入空间相关性约束，从而更有效地识别出偏离正常模式的区域[^4]。 ### 应用场景与优势 此方法特别适用于工业质检中常见的“零样本”或“少样本”异常检测问题，例如金属零件、钢带、玻璃等表面质量控制环节。由于实际生产线上异常样本稀缺且难以获取大量标注数据，传统监督学习方法往往效果不佳。该研究提出的框架可以在仅需5个正常样本的情况下完成对新类别产品的异常检测，极大地降低了部署成本并提高了实用性[^5]。 - **高效迁移能力**：实验结果显示，在DAGM 2007和NEU-DET两个标准工业缺陷检测数据集上，该方法在AUC指标上分别达到了98.6%和97.2%，显著优于基于GAN、自编码器及迁移学习的传统方法[^6]。 - **可视化解释性增强**：除了定量性能提升外，模型还提供了可视化的异常热图输出，帮助工程师直观理解模型决策依据。例如，局部分支生成的注意力图可以清晰地指出图像中潜在缺陷的位置，这对于工业自动化系统中的故障诊断具有重要意义[^7]。 - **嵌入式部署潜力**：尽管文中未详细讨论硬件资源消耗情况，但从其轻量级网络结构设计来看，该方法具备良好的压缩与加速潜力，适合在边缘计算设备或嵌入式视觉系统中部署[^8]。 ```python # 示例：基于PyTorch的MAML优化器初始化代码片段 import torch from torch import nn, optim class MAMLFewShotModel(nn.Module): def __init__(self, base_model): super(MAMLFewShotModel, self).__init__() self.base = base_model self.reconstruction_loss = nn.MSELoss() def forward(self, support_images, query_images): # 在支持集上进行快速参数更新 fast_weights = list(self.base.parameters()) logits = self.base(support_images) loss = self.reconstruction_loss(logits, support_images) grads = torch.autograd.grad(loss, fast_weights) fast_weights = [w - 0.01 * g for w, g in zip(fast_weights, grads)] # 使用更新后的权重预测查询集 query_logits = self.base(query_images, weights=fast_weights) return query_logits ```
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值