SNIP论文学习

SNIP算法详解(极端尺寸目标检测) SNIP算法详解论文背景算法背景优化结果算法详情主要问题解决方案训练问题 论文背景 论文全称:An Analysis of Scale Invariance in Object Detection – SNIP 论文链接:https://arxiv.org/abs/1711.08189 论文日期:2018.5.25 算法背景 极端尺寸异样的识别与检测算法已经被提出,检测器的尺寸特殊性与尺寸不变性设... 阅读详情

论文:An Analysis of Scale Invariance in Object Detection – SNIP
论文链接:https://arxiv.org/abs/1711.08189
代码链接:http://bit.ly/2yXVg4c

   论文分析COCO数据集,认为目前目标检测算法的难点在于数据集中object的尺寸分布较大,尤其对于小目标的检测效果也有待提高,因此提出Scale Normalization for Image Pyramids (SNIP)算法。

SNIP是CVPR2018 oral,并获得了COCO2017 challenge的Best Student Entry。

small object占总的object比例太小,远不如ImageNet的数据分布来得合理。COCO数据集中,大部分的object面积只有图像面积的1%以下,这说明在COCO数据集中小目标占比要比ImageNet数据集大。另外,从Figure1中的COCO曲线可以看出,第90%的倍数(0.472)差不多是第10%的倍数(0.106)的20倍!这说明在COCO数据集中的object尺寸变化范围非常大。

ImageNet预训练的模型在迁移到样本大小差异较大的COCO中时很可能产生一定的domain-shift偏差。因此作者产生这样的motivation:

    1.现在检测网络为了提高对小目标的效果,都采用upsample的方法,这个真的是必要的吗?我能不能直接用低分辨率的图像不做upsample来训练网络(需要调小strides)?
    2.能不能通过挑选样本的方式来增加网络效果的,比如我upsample调整了大小以后,只用64x64~256x256的ground truth来训练?用所有的gt来训练真的更好吗?

 现在有很多针对小目标的措施和改良:

   1.  使用dilated/strous或者deformable这类特殊的卷积来提高检测器对分辨率的敏感度
   2. 最常用的,upsample来rezie网络输入图像的大小
   3. 使用FPN这种把浅层特征和深层特征融合的,或者最后在预测的时候,使用浅层特征和深层特征一起预测;也有比较直接地在浅层和深层的feature map上直接各自独立做预测的;这个也就是我们常说的尺度问题(scales)


作者通过一系列的探究性实验证明了upsample对小目标物体的检测是有一定效果的。

三种网络:

  • CNN-B使用高分辨率图像训练,分类经过降采样和upsample的图片
  • CNN-S使用低分辨率图像训练,分类经过降采样的图片
  • CNN-B-FT使用高分辨率图像训练,然后在低分辨率图像上fine-tune,分类经过降采样和upsample的图片 

 CNN网络没有尺度不变形,没有把scale这个隐藏变量学习到的机制,只能通过大量参数来强行记忆不同scale的物体。而下面部分谈到的方法也很可能只是治标不治本,关键还是怎么把scale这个隐藏变量抽离出来,甚至可以直接学习;或者直接赋予网络学习scale的能力。

 

1.每个pipe-line的RPN只负责一个scale range的proposal生成。

2.对于大size的feature map,对应的RPN只负责预测被放大的小物体;对于小size的feature map,对应的RPN只负责预测被缩小的大物体;这样的设计保证了每个CNN分支在判别proposal是否为前景时,只需针对最易分类的中等range的proposal进行训练

划分了三个尺度,对应三种不同分辨率的图像。每个分辨率i下的RoI都有其指定范围,如果gt的box大小在这个范围内,就被标记做valid,否则就被标记为invalid。

experiment:

1. 作者使用的是Deformable RFCN detector而不是常见的一般卷积,当然受制于实验自身,需要作出一定的改变
2. 作者使用的网络结构是Dual path networks(DPN)和ResNet-101,由于需要内存很大,为了适应GPU内存,作者对图像进行了采样,具体方法是选取一个1000x1000的包含最多目标的区域作为子图像,然后重复该步骤直到所有目标都被选取
3. 作者为了提升RPN的效果,尝试了使用7个尺度,连接conv4和conv5的输出

结果:

思考:

SNIP相当于开了三个pipe-line,其中包括了三个并行的feature extraction,速度简直不要太慢,显存占用简直不要太大,一般的显卡根本带不动。

accuracy很高,但speed太慢,model太大,没有实用性。

SNIP在没有改进之前,是一个华丽而不实用的算法。所幸SNIPER对其进行了改进

参考blog:

https://blog.youkuaiyun.com/u014380165/article/details/80793334

https://blog.youkuaiyun.com/qq_21949357/article/details/80031891

https://blog.youkuaiyun.com/jningwei/article/details/80332984

模型剪枝三剑客:结构化剪枝、非结构化剪枝与SNIP算法深度解析 给定神经网络,剪枝目标是在满足稀疏约束下最小化性能损失:其中是-范数(非零元素计数),k是目标稀疏度。 阅读详情

相关推荐

小目标检测模型总结+SNIP+SNIPER

小目标检测 在MS COCO数据集中,对于面积小于32*32的物体,MS COCO就认为它是小物体,在评测时,会对这个范围内的物体计算APsmall。 在行人库CityPerson中,原图大小为1024*2048,小目标定义为高度小于75的目标。 目前小目标检测的方法大致有一下4类(不过这是2018年的回答了): Scale 最简单粗暴的方法就是放大图片。这就是在尺度上做文章,如FPN(Feature Pyramid Network),SNIP(An Analysis of Scale Invarian

Focus 6061

SNIP

这里写目录标题一级目录二级目录三级目录CNN-B实验:CNN-S实验CNN-B-FT 一级目录 二级目录 三级目录 CNN-B实验: 实验目的:研究测试图像分辨率与训练图像分辨率之间的差异程度对模型分类准确度的影响。 实验步骤:(高分辨率图像训练,低分辨率图像测试) 使用ImageNet原始的224×224224\times224224×224训练图像(高分辨率训练图像)对ResNet-101进行训练。(作者直接使用了预训练好的ResNet-101) 将ImageNet验证数据集中的224×224224\

dekiang 1131

[CVPR2018] An Analysis of Scale Invariance in Object Detection – SNIP

An Analysis of Scale Invariance in Object Detection – SNIP 简介 分类和检测的难度差异 各种对付尺度变化的方法 作者抛出的两个问题 分析现存的解决方法 浅层小物体, 深层大尺度 特征融合/特征金字塔 多尺度分类问题 CNN-B: 原图训练 / 伪高清测试 CNN-S: 低清训练 / 低清测试 CNN-B-FT: 原图训练, 伪高清微...

Microos的博客 5520

论文笔记 -SNIP 基于灵敏度的单次网络剪枝

与一式相比,我们将网络中可学习参数的数量增加了一倍,直接优化二式更加困难,由于我们已经将连接的权重(w)与连接是否存在(c)分开,我们可能通过测量每个连接对损失函数的影响来确定每个连接的重要性。由于网络在训练前修剪一次,因此不需要预训练和复杂的修剪计划,没有额外的超参数,一旦修剪,稀疏网络的训练是按照标准的方式进行的。基于连接灵敏度的显著性标准,该标准为给定任务识别网络中结构上重要的连接,这消除了预训练和复杂的修剪计划的需要,同时使其对架构变化具有健壮性。的无穷小变化的变化率。表示所需的非零权重的数量。

weixin_61669379的博客 1147

目标检测中的多尺度问题及优化-SNIP

文章目录1 检测任务的困难1.1 尺度差异1.2 domain-shift2 图像分辨率对分类任务的影响3 目标检测的影响因素3.1 图像分辨率3.2 图像中目标的尺寸3.3 数据增强3.4 结果与结论3.4.1 结果3.4.2 结论4 SNIP4.1 网络结构4.2 Q&A5 总结6 参考资料 在目标检测任务中,算法的效果常常会受到多种因素的影响,比如遮挡、目标尺度变化等,在之前的一篇...

为之则易,不为则难 1万+

黑群晖断电后存储池‘已损毁’?别慌,SSH里这几条命令能救急

本文详细解析黑群晖断电后存储池显示‘已损毁’的紧急修复方法。通过SSH命令行工具,提供从诊断到修复的完整流程,包括RAID阵列重新组装、设备重建等关键步骤,帮助用户恢复数据访问。适用于因意外断电导致的存储池异常情况。

weixin_42651748的博客 377

SNIP 算法笔记

论文:An Analysis of Scale Invariance in Object Detection – SNIP 论文链接:https://arxiv.org/abs/1711.08189 代码链接:http://bit.ly/2yXVg4c 这篇是CVPR2018的文章,引用文献非常到位,同时实验结果非常惊艳,总体来看比同是CVPR2018上的cascade RCNN效果还要好一...

AI之路 2万+

DSSAT模型实战:从基础配置到气候情景模拟

本文详细介绍了DSSAT模型在农业模拟中的应用,从基础配置到气候情景模拟的全流程实战指南。通过土壤-植物-大气连续体的动态关系建模,DSSAT能精准预测作物产量,误差率低至8%。文章涵盖气象数据处理、土壤参数配置、管理措施调控等核心技巧,并提供了Python脚本和可视化方法,助力农业科研与决策。

weixin_29264201的博客 1018

CVPR 2018 目标检测(Object Detection)总览

http://www.tongtianta.site/group?group_id=1 https://blog.csdn.net/u014380165/article/details/80784147 《An Analysis of Scale Invariance in Object Detection - SNIP》 arXiv:https://arxiv.org/abs/1711.0...

阿木寺的博客 3714

让 AI 学会“慢思考”:MCP Sequential Thinking 深度部署与使用指南

摘要: MCP Sequential Thinking 是一种让AI具备"慢思考"能力的技术,通过动态调整思维路径解决复杂问题。本文详细介绍了在Windows、macOS和Linux系统下的部署方法,包括环境准备、配置文件修改等步骤。该技术通过"产生想法-评估需求-修正路径"的循环机制,显著提升AI在代码设计、数学证明等复杂任务中的表现。文章还提供了验证安装方法、使用示例和常见问题解答,帮助开发者解锁AI的深层思考能力。(149字)

weixin_43236925的博客 1914

西门子S7-1200PLC与FANUC机器人进行PROFINET IO通信的具体方法和步骤详解

西门子S7-1200PLC与FANUC机器人进行PROFINET IO通信的具体方法和步骤详解

Robot_PLC_HMI_Automation 1万+

「Computer Vision」Notes on Scale Normalization for Image Pyramids (SNIP)

QQ Group: 428014259 Sina Weibo:小锋子Shawn Tencent E-mail:403568338@qq.com http://blog.csdn.net/dgyuanshaofeng/article/details/83834327 [1] An Analysis of Scale Invariance in Object Detection - SNIP CVPR...

小锋子Shawn 347

WindowsServer2022蓝牙音频开启方法

为Windowsserver 2022 添加蓝牙音频驱动的方法和工具

thebestismin的专栏 2707

关于SNIP NTRIP Caster学习笔记

学习snip主要是想要用snip NTRIP Caster做定位差分数据的转发服务器。 1关于SNIP 就题:要先找到流程实现snip做一个ntrip协议的服务器 1.1什么是SNIP? https://www.use-snip.com/ 美国SubCarrier Systems Corp. (SCSC)的产品 SNIP是通过Internet 协议 (NTRIP) Caster 应用程序的 RTCM 网络传输。 它...

weixin_50025868的博客 4406

C#与欧姆龙PLC 通信——Fins Tcp协议

该调试助手专门为了帮助大家学习以及测试Fins-Tcp通信,下面进行详细介绍。

qq_34059233的博客 2087

yolov26改进 | 检测头篇 | 利用渐近特征金字塔网络AFPN改进yolov26检测头融合P2网络结构(让小目标无所遁形,全网独家首发)

本文介绍一种基于AFPN渐近特征金字塔网络改进的YOLOv26四检测头Detect_FPN。AFPN通过逐级融合底层细节、中层结构与高层语义特征,缩小不同尺度特征之间的语义差距,减少直接融合带来的信息冲突,使检测头获得更稳定、更充分的多尺度表达。本文进一步增加高分辨率小目标检测分支,强化对微小目标、密集目标和复杂背景目标的感知能力,适合工业缺陷、遥感及无人机等场景。文中将展示基础模型与改进模型的训练对比结果,并提供完整代码、配置文件、模块注册方法及Codex修改思路,方便直接复现和二次创新。

Snu77的博客 376

(十九)论文阅读 | 目标检测之SNIP

CVPR2018 | 目标检测之SNIP

Skies_的博客 1056

搞定ESD(二):ESD干扰机理分析

大家好,我是记得诚。上文介绍了ESD的基本知识,对ESD的测试标准进行了解析,包括静电发生器的介绍,实验布置要求,静电放电实验的实施及判定等内容。本文主要介绍ESD的干扰机理。

记得诚 4304

Snip

论文:An Analysis of Scale Invariance in Object Detection – SNIP 动机 解决训练数据和测试数据不匹配的问题 数据集中目标尺度分布范围较大,对于小目标的检测效果差 常用的改善方法:图像金字塔,特征金字塔 目标尺寸差异的影响 梯度回传时只将和预训练模型所基于的训练数据尺寸相对应的ROI的梯度进行回传 引入图像金字塔来处理数据集中不同尺寸的数据...

xiaochengJF的博客 511

汉书HE8,好用的汇编代码编写工具

汉书HE8,好用的汇编代码编写工具早期编写汇编代码所用功能强大

温度PID控制PLC程序

温度PID稳定控制程序,适用于欧姆龙PLC,对其他PLC也具有很大参考价值

SNIP论文阅读

论文 论文: An Analysis of Scale Invariance in Object Detection – SNIP 代码链接: http://bit.ly/2yXVg4c 论文概述 以前解决scale variation的方法包括: 1) 特征金字塔; 2) 空洞卷积或者可变卷积; 3) 各个层的featuremap进行独立预测;4)图像金字塔,多尺度训练,多尺度预...

qq_42277222的博客 694

大中型超市收银系统(可直接运行)

光步前台收银系统系统功能:商品销售、商品退货、挂单、收银员权限、会员销售、单品取消、整单取消、商品查询、脱机销售、脱机数据上传,基本资料下载,开钱箱、小票打印、收款结算,支持多币种付款方式(现金、储值卡、礼券、微信等),支持多种促销。运行环境:.net 4.0登陆信息用户名:1001 密码:123456内置商品信息,商品编码可输入00001000 - 00010000,测试效果相关功能键F5 结算 F9挂单 F11商品查询 F8退货 Insert单品取消 Del整单取消 F12开钱箱F2 会员 Ctrl+Z退出系统 Home 锁屏 相关源码待公开

python中的snip用法_简单说说SNIP

论文:An Analysis of Scale Invariance in Object Detection – SNIP论文链接:An Analysis of Scale Invariance in Object Detection - SNIP​arxiv.org1. Background & Related Work1.1 简介这篇文章主要的研究点是目标检测中的小物体问题。小物体检测...

weixin_39731782的博客 1579

假人有限元模型

假人模型,车辆碰撞假人有限元模型,适合做乘员安全的研究者利用

【目标检测】Snip论文解读

1、 为什么要做这个研究(理论走向和目前缺陷) ? 本文针对的还是目标检测的老大难问题:超小目标检测(或超大目标)。现存的对小目标检测无非是多尺度输入路线(图像金字塔),多尺度特征层独立预测路线(ssd,ssh),多尺度特征融合路线(inception(大感受野), RFB,即空洞卷积,u-net等),还有上述综合即多尺度特征融合即多尺度特征独立预测(FPN,PANet等),他们的问题就是对极小或极大目标依然无法很好的检测。 2、 他们怎么做这个研究 (方法,尤其是与之前不同之处) ? 本文提出依然用图像金

qq_42575422的博客 1201

论文阅读: SNIP

Introduction Innovation Result Thinking [1] An Analysis of Scale Invariance in Object Detection - SNIP

JNing 3533

SNIP理解

An Analysis of Scale Invariance in Object Detection – SNIP 出发点 文章分析了小尺度与预训练模型尺度之间的关系, 并且提出了一个和 Cascade R-CNN 有异曲同工之妙的中心思想: 要让输入分布接近模型预训练的分布(本文主要探讨尺度的分布不一致带来的问题). 之后利用分析的结论, 提出了一个多尺度训练(MST)的升级版:Scale Normalization for Image Pyramids (SNIP). 用于解决检测数据集上尺寸极端变化

莫一丞元 1332
上一篇: FCN(Fully Convolutional Networks for Semantic Segmentation) 学习
下一篇: 目标检测领域部分论文(13-18)
DevinDujun
博客等级 码龄11年 18粉丝 37原创
评论 1
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值