HyperNet:Towards Accurate Region Proposal Generation and Joint Object Detection

[论文阅读]HyperNet: Towards Accurate Region Proposal Generation and Joint Object Detection 本文是今年cvpr的一篇spotlight,也应该是目前为止faster rcnn所有变种中最好的一个。文章传送门:点击打开链接 和之前的RCNN以及之后的一些变种一样,本文也是region-based object detection framework。相比与faster rcnn,hypernet更擅长处理小物体,并且产生更高质量的proposal。 阅读详情

HyperNet

论文地址:https://arxiv.org/pdf/1604.00600.pdf
录用:CVPR 2016
难点:有一个问题就是HyperNet是如何生成region proposal的?

摘要

到目前为止,RCNN,Fast RCNN以及Faster RCNN系列的算法出炉,使得目标检测的精度和召回率不断提升。然而小尺寸目标检测和精确定位的问题仍然没有很好的得到解决,主要原因是由于特征映射的粗糙。

本文中,作者提出一个HyperNet,以联合处理区域提案的生成和目标检测。HyperNet的核心是主要基于一个精心设计的Hyper Feature,它首先聚合层次特征映射,然后将它们压缩到一个统一的空间。Hyper Feature很好地结合了图像的深层但高度语义、中间但真正互补的、浅层但自然高分辨率的特征,从而使我们能够通过在生成建议和通过端到端联合训练策略检测对象时共享它们来构建HyperNet。

对于VGG16模型,我们的方法在PASCAL VOC2007和2012上实现了完全领先的召回和最先进的目标检测精度,每幅图像仅使用100个建议。 它在GPU上以5fps(包括所有步骤)的速度运行,因此具有实时处理的潜力。

contributions

我们证明了适当的粗到细的CNN特征的融合更适合于区域提案的生成和检测。我们的主要结果是:

  • 在目标提案任务上,我们的网络只有50个提案时recall=95%,100个提案召回97%,明显优于其他现有的sota方法;
  • 在PASCAL VOC2007和2012的检测挑战中,我们实现了最先进的76.3%和71.4%的mAP,比开创性的Faster R-CNN多了6%和3%;
  • 我们的加速版本可以几乎实时地保证对象的建议和检测精度,使用非常深的CNN模型能达到5fps。

Related Work

介绍了当时的一些关于目标检测的工作,主要有分为传统的目标检测算法和基于CNN的目标检测算法。

详细看原论文。

HyperNet framework

在这里插入图片描述
论文的HyperNet框架如图所示。
可以看出,对于输入的image:

  • 首先进行的是Hyper feature的提取;
  • 其次通过网络生成100个region proposals;
  • 最后采用Fast RCNN的方法对于region proposal进行分类和包围框精细化回归;

总的来说,HyperNet就是基于FasterRCNN的改进,改进的方法就是特征融合,综合考虑浅层特征不具有语义信息,中层特征互补,高层特征高语义信息但是位置信息粗糙的特点,进行特征提取上的一个完善。

与Faster RCNN的不同

Faster RCNN是先生成特征图然后再RPN生成anchor,之后通过anchor在特征图上的定位通过ROI pooling得到7*7的特征图用于第二阶段的分类与包围框精修。

HyperNet是得到特征图之后先直接ROI pooling得到13*13的特征图,称之为Hyper feature maps,然后这个Hyper feature map用来生成region proposal,进行得分和包围框回归之后在进行第二阶段的分类和包围框精修。
在这里插入图片描述

有一个问题就是HyperNet是如何生成region proposal的?

3.1. Hyper Feature Production

这一小节讲述Hyper特征提取的工作原理。

为了组合具有相同分辨率的多层次映射,对不同的层进行了不同的采样策略。

在下层增加了一个最大的池化层来进行子采样。

对于更高层,添加了一个反卷积操作来进行上采样。

然后做了一个LRN,LRN是必要的,因为不同层的feature resolution不同,如果不做正则normal大的feature会压制住normal小的feature。

对每个采样结果应用一个卷积层(体积)。该转换操作不仅可以提取更多的语义特征,而且还可以将它们压缩到一个统一的空间中。

Hyper feature的优点
  • 多个层次的抽象化。受神经科学的启发,跨多个层次的推理已经被证明对一些计算机视觉问题是有益的;
  • 如实验所示,深度CNN和浅CNN特征对于目标检测任务是互补的。有适当的解决办法。对于调整大小的1000×600图像的特征图分辨率将为250×150,这更适合于检测;
  • 计算效率。所有的特征都可以在区域提案生成和检测模块之前进行预先计算。这时并没有任何冗余的计算方法。

其实我认为这就是特征融合FPN的前身。

3.2. Region Proposal Generation

这一部分使用的是RPN的思路,不过作者为了体现创新设计了一个轻量级的RPN网络,包括一个ROI pooling,一个卷积层和一个全连接层,然后连接两个subnet用于分类与包围框的回归。

生成proposal用于训练时也用到了NMS从上万个anchor中选取前k个进行训练。

对于RPN的改进,在3.5中也有描述,起到加速的作用。

同时在5.1中,HyperNet的region生成模块也表现出了优势;

3.3. Object Detection

做了两个修改。:

  • 在FC层之前,我们添加了一个Conv层(3×3×63),以使分类器更强大。 此外,该操作减少了一半的特征维度,便于后续计算。;
  • dropout rate从0.5改为0.25,我们发现这对对象分类更为有效。 作为建议生成模块,检测网络对于每个区域框也有两个兄弟输出层。 不同的是,每个候选框都有N1输出分数和4×N包围框回归偏移(其中N是对象类的数量,背景加1)。 每个候选框使用输出层进行评分和调整。 我们还添加了一个特定于类的NMS以减少冗余。
3.5. Speeding up

在这里插入图片描述

在proposal生成模块,大部分时间都花在了ROI上,认识到这一事实,我们做了一个小的修改,以加快这一进程。 如图3所示,我们将3×3×4卷积层移动到ROI池层的前面。 这种变化有两个优点:

  • Hyper feature map的channel数显著减少(从126减少到4)。
  • 滑动窗口分类器更简单(从Conv-FC到FC)。

这两个特点都可以加快区域提案生成过程。 正如我们在实验中所显示的,随着回忆的一点点下降,区域提案生成步骤几乎是免费的(40×加速)。 我们还加快了类似变化的对象检测模块。

4. Comparison to Prior Works

Faster R-CNN的中的区域建议是由RPN提出的。Faster R-CNN和所提出的HyperNet都将区域提案生成器与分类器结合在一起。主要的区别是:

  • Faster R-CNN仍然依赖于Fast R-CNN进行目标检测,而我们的系统将区域提案的生成和检测统一到一个重新设计的网络中。
  • 本系统以不同的方式实现了边界框回归和区域得分。通过生成HyperNet,我们的系统更适合于小对象的发现。
  • 对于较高的IoU阈值(例如,IOU>0.8),我们的区域建议仍然表现良好。

本系统以不同的方式实现边界框的回归和区域得分?到底是什么不同的方式?和Faster RCNN有区别吗?

5. Experimental Evaluation
5.1 Region Proposal Generation的验证

在这里插入图片描述

通过图4和图5的对比,可以看出同样的IOU阈值,HyperNet的召回率最高;

同样的region proposal的数量,HyperNet的recall最高;

在这里,作者也把本文提出的region proposal generation模块和selective search和其他proposal生成模块进行了对比。
在这里插入图片描述
HyperNet-SP是运用了3.5中加速模块的版本

与没有CNN的方法相比,RPN和HyperNet都取得了很好的检测结果。 然而,对于高IoU阈值(例如,>0.8),RPN的召回率与我们的方法相比急剧下降。 RPN的特征用于锚点的回归。

那么问题来了?是什么原因导致HyperNet的proposal生成模块优于RPN??

VOC2007的结果

在这里插入图片描述

HyperNet网络达到了76.3%的mAP,比Faster R-CNN高出6.3%,比更快的R-CNN高出3.1%。正如我们在上面所示的,这是因为由HyperNet生成的proposal比选择性搜索和RPN更准确???

为什么???

是因为HyperNet的特征经过融合所以更丰富更利于目标检测吗?

faster rcnn的ROI pooling是生成7*7的ROI map

HyperNet的ROI pooling是生成13*13的ROI map

文中给出的原因:

HyperNet is elaborately designed and benefits from more informative Hyper Feature.

VOC2012的结果

在这里插入图片描述

5.4 The Role of Hyper Feature

对特征融合进行了初步探索,
在这里插入图片描述

An important property of HyperNet is that it combines coarse-to-fine information across deep CNN models. However, does this strategy really help?
Unsurprisingly, we find that the combination of layer 1,3 and 5 works the best, as shown in Figure 6. This result indicates two keys:
(a) The multi-layer combination works better than single layer, both for proposal and detection.
(b)The last layer performs better than low layers. This is the reason why most systems use the last CNN layer for region proposal generation or detection. The detection accuracy with respect to mAP is shown in Table 5.

5.5. Combine Which Layers?

Hyper Feature is effective for region proposal generation and detection, mainly because of its richness and appropriate resolution.
But it also raises another question: which layers should we combine to get the best performance?

如table 5所示,结合1,3,5的feature map在proposal的recall和mAP上性能最佳。
作者给出原因就是:

然而,结合层1、3和5的性能优于其他网络。 由于相邻层是强相关的,低层或高层的组合表现得没有那么好。 这表明,更广泛的粗到细CNN特征的组合更重要。

6. Conclusion

HyperNet provides an efficient combination framework for deep but semantic, intermediate but complementary, and shallow but high-resolution CNN features. A highlight of the proposed architecture is its ability to produce small number of object proposals while guaranteeing high recalls.

总结

  • 基于特征融合,HyperNet更利于小目标检测;
  • HyperNet生成的proposal的recall给更高,这一点作者没有给出原因,但提到了Hyper特征的精细化有助于目标检测;
  • HyperNet在VOC数据集的精度比FasterRCNN高;
论文笔记 | HyperNet: Towards Accurate Region Proposal Generation and Joint Object Detection 作者 Tao Kong Anbang Yao Yurong Chen Fuchun Sun 摘要 本文提出了一种HyperNet,同时用于处理region proposal和object detection。Hyper特征是将各层featuremaps的特征聚集然后统一到一个空间。在cpu上处理速度是5fps。 1 Introduction 首先说了Rcnn 到Faster 阅读详情

相关推荐

PanNet: A deep network architecture for pan-sharpening(ICCV 2017)

我们针对泛锐化问题提出了一种深度网络架构,称为PanNet。我们结合特定领域的知识来设计我们的PanNet架构,重点关注泛锐化问题的两个目标光谱和空间保存为了保持光谱,我们将上采样的多光谱图像加入到网络输出中,直接将光谱信息传播到重建图像中为了保持空间结构,我们在高通滤波域而不是图像域训练网络参数我们表明,训练后的网络可以很好地泛化来自不同卫星的图像,而无需再训练。实验表明,在视觉上和标准质量度量方面,比最先进的方法有了显著的改进。

qihshe的博客 2652

HyperNet: Towards Accurate Region Proposal Generation and Joint Object Detection

写下此论文笔记仅是为了记录自己看论文的一个过程以及一些收获希望,希望能够和更多志同道合的朋友一起讨论交流! 感觉本篇论文的主要创新点是在于将低层、中间层和高层的feature maps结合起来形成Hyper Feature来进行region proposal和object detection,其它部分与Faster R-CNN很相似。 摘要:现在的目标检测都是用region proposa

ScarecrowLiu的博客 4480

基于Region Proposal的目标跟踪算法-A New Target-specific Object Proposal Generation Method for Visual Tracking

最近的CVPR2018上出现了一篇使用Region Proposal Network来做目标跟踪的文章,题目是“High Performance Visual Tracking with Siamese Region Proposal Network”,简称SiamRPN。听说效果很好,但是文章一直没放出来,不知道他的实现细节,所以闲来无事在ArXiv上面搜索了一下,意外的发现一篇用Reg...

HUSTbest_的博客 2560

【将高光谱、多光谱和全色图像进行融合】

仅供自己参考

weixin_43690932的博客 6846

别再手动调参数了!用3ds Max的tyDiffusion插件,5分钟搞定AI动态纹理生成

本文介绍了3ds Max的tyDiffusion插件如何通过AI技术快速生成动态纹理,大幅提升3D美术师的工作效率。从火焰、水流到布料飘动,tyDiffusion能在5分钟内完成传统手工需要数小时的任务,且效果更自然。文章详细解析了插件的核心功能、实战配置及进阶应用,帮助用户轻松实现AI动态纹理生成。

weixin_30919429的博客 677

昇腾CANN实战:如何用DVPP+AIPP实现32路视频流毫秒级预处理(附性能对比)

本文深入探讨了昇腾CANN架构中DVPP和AIPP模块在32路视频流毫秒级预处理中的硬件加速技术。通过异构计算架构的优化,实现了从传统CPU方案的40.7毫秒到CANN方案3.4毫秒的显著性能提升,特别适用于智能安防领域的实时视频分析需求。文章详细解析了DVPP多通道并行设计和AIPP模型级预处理融合的技术细节,并提供了性能对比数据与实战调优经验。

alice7model的博客 921

HyperNet: 走向特征融合,提高小物体检测精度

目录 1.背景: 2.结构图: 3.优点 4.加速策略: 5.产生优异效果: 6.轻量化方法: 1.背景: 卷积神经网络的特点是,深层的特征体现了强语义特征,有利于进行分类与识别,而浅层的特征分辨率高,有利于进行目标的定位。原始的Faster RCNN方法仅仅利用了单层的feature map(例如VGGNet的conv5-3),对于小尺度目标的检测较差,同时高IoU阈值时,边框定位的精度也不高。 在2016 CVPR上发表的HyperNet方法认为单独一个feature ...

weixin_45564943的博客 4746

状态错误CS0234命名空间“Windows”中不存在类型或命名空间名“Management”(是否缺少程序集引用?)

解决源码编译UE打包失败问题

五百零一 2339

论文笔记 HyperNet: Towards Accurate Region Proposal Generation and Joint Object Detection

提出的HyperNet网络基于设计的Hyper特征,这种特征主要先集合分等级的特征图,然后将其压缩到一个空间。这种Hyper特征同时具有足够深和很好的语义信息,在PASCAL VOC 2007和2012上可以通过每张图产生仅仅100个proposal,而达到很好的精度和效果,同时可以达到实时,GPU下 5 fps的速度。Hyper方法主要的贡献有: (1)在仅仅 50 proposal情况下,可达

xiaoxiang_AQ 的博客 5461

7系列ZYNQ硬件调试:Vitis无法识别ARM DAP的排查与解决

本文详细分析了Xilinx 7系列ZYNQ芯片在Vitis开发环境中无法识别ARM DAP的常见问题及解决方案。从硬件设计检查(电源系统、时钟电路)、JTAG连接诊断到软件环境排查,提供了全面的调试指南。特别针对ARM DAP初始化失败的情况,给出了实用的排查步骤和预防措施,帮助开发者快速定位和解决类似问题。

weixin_33737134的博客 517

Unity Sprite Atlas C++底层原理全解析 —— “像素聚合工厂”的秘密

Unity Sprite Atlas C++底层实现简析 Sprite Atlas是Unity中用于优化2D渲染性能的核心机制,其C++底层实现如同一个高效的"像素聚合工厂"。该系统通过将多个小纹理合并为一个大纹理,显著减少Draw Call次数和GPU纹理切换开销。 在数据结构上,底层采用SpriteAtlasData存储图集元数据,PackedTexture管理合并后的大纹理,SpriteFrame记录每个子精灵的位置信息,并通过哈希表实现快速查找。编辑器阶段使用最大矩形等算法优化空

本博客聚焦游戏开发技巧、创业实战心得及大学热门课程干货。这里既有技术深度,也有思维广度,无论你是开发者、创业者还是高校学子,都能在这里找到适合自己的成长之路! 206

HyperNet_ Towards Accurate Region Proposal Generation and Joint Object Detection 论文笔记

background 任务:结合高层次和低层次的信息,提高对小目标的检测能力,加快检测速度关键词:HyperNet​ Introduction 在目标检测中,低层次的feature maps位置信息相对较多,定位性较强,但是用于检测的语义信息不够丰富,高层次的feature maps的用于检测的语义信息相对丰富,但是位置信息粗糙,而且,对于小目标的深层的语义信息因之前的对应的区域的分辨率较低,导致语义信息很粗糙,(可能是2*2的feature maps),在检测任务中可能会被忽略掉。​ 本文作者通过预训.

weixin_40253737的博客 272

【ESP32接入国产大模型之Deepseek】

🥳🥳🥳现在,我们在本教程中,您学习了如何使用ESP32接入语言大模型之Deepseek。🛹🛹🛹从而实现对外部世界进行感知,充分认识这个有机与无机的环境,后期会持续分享esp32跑freertos实用案列🥳🥳🥳科学地合理地进行创作和发挥效益,然后为人类社会发展贡献一点微薄之力。🤣🤣🤣如果你有任何问题,可以通过q group(945348278)加入鹏鹏小分队,期待与你思维的碰撞😘😘😘鸣谢B站UP星汇极客ESP32对接DeepSeek API,实现AI大模型交互功能。

vor234的博客 1万+

多尺度R-CNN论文笔记(3): HyperNet: Towards Accurate Region Proposal Generation and Joint Object Detection

前言:博主目前的研究课题为“可见光遥感图像目标检测”,研究兴趣是大尺寸高分辨率遥感图像上多尺度目标及小物体检测。为了整理阅读过的文献,梳理研究思路,记录自己的理解感悟,遂开启一个“物体检测系列博客”。     R-CNN系列综述及阅读笔记主要梳理R-CNN的思想及研究进展,细分为概述性文章和论文阅读笔记。 转载请注明文章出处:   论文HyperNet: Towards Accurate R

Solomon1558的专栏 2608

Python爬虫实战:社交媒体热点事件追踪与情感分析可视化

本文探讨了如何利用Python爬虫技术从微博和Twitter等社交媒体平台抓取数据,进行热点事件追踪和情感分析,并通过可视化方式展示舆论情感变化。文章详细介绍了最新的爬虫技术、数据处理方法和可视化实现,提供了完整的代码示例,帮助读者构建自己的社交媒体分析系统。关键词:Python爬虫、社交媒体分析、情感分析、数据可视化、热点追踪爬虫框架:Requests-HTML、aiohttp、Twint(Twitter专用)数据处理文本处理:Jieba(中文分词)、NLTK(英文处理)情感分析。

2201_76125261的博客 1105

【YOLOv12多模态融合改进】(可见光+红外)涉及像素级融合、特征级融合(中期、中后期、后期)、决策级融合的完整配置步骤以及二次改进方案

在网络输入阶段将多模态数据直接合并,形成统一的特征表示。

Limiiiing的博客 1213

高光谱数据集,论文笔记,图像融合代码汇总

数据集:https://blog.youkuaiyun.com/siyumiao_hbu/article/details/109291055 论文笔记: 高光谱图像超分辨率空间谱先验学习Learning Spatial-Spectral Prior for Super-Resolution of Hyperspectral Imagery GDD无监督图像对融合Guided Deep Decoder: Unsupervised Image Pair Fusion 用于半盲高光谱和多光谱图像融合的非局部稀疏张..

每天都要看论文 1万+

Outlook Express 6 (OE6) for Win7/Win8/Win10

英文版 Outlook Express6.0, 兼容Win7/Win10/WinXP,解压就可用。

目标检测中的多尺度特征

目录1. 图像金字塔(image pyramid)1.1 多尺度训练/测试(multi-scale training/testing)1.2 SNIP(Scale Normalization for Image Pyramids)2. 特征金字塔(feature pyramid)2.1 直接的多尺度特征预测2.2 多尺度特征融合+单尺度特征预测2.3 多尺度特征融合+多尺度特征预测 目标检测中最具挑战性的问题就是目标的尺度变化问题(scale variance)。在目标检测中,物体的形状和尺寸大小不一,甚

dekiang 1万+

lwip-2.0.3

lwip是瑞典计算机科学院(SICS)的Adam Dunkels 开发的一个小型开源的TCP/IP协议栈。实现的重点是在保持TCP协议主要功能的基础上减少对RAM 的占用。

C# WinForm 基于DirectShow.dll编写的程序,可边预览边保存视频,音频和图片

基于微软的DirectShow.dll的二次开发1.自动识别连接的摄像头跟麦克风且可以对其进行选择(默认选中第一个)2.可录制wmv和avi两种格式的视频并且都带有音频,avi可以录制的分辨率和帧数进行选择,wmv默认进行了淸晰度优化如不喜欢可去除代码中有相关提示3.可在预览点开之后进行拍照,也可边录制视频边拍照4.添加了视频和音频的压缩功能(酌情使用)这次二次开发发现C#对DirectShow的相关信息太少,这次做完也不敢藏私共享出来,还望大家指正

模糊度判断:史上最详细图像质量评价(IQA)-hypernet网络详解--第四节

模糊度判断:史上最详细图像质量评价(IQA)-hypernet网络详解--第四节

xingjh1的博客 2335

VC中sqlite的使用

在VC中对sqlite的使用,实现数据库大批数据的快速插入,读取数据库中的数据在ListCtrl中显示

HyperNet论文原理理解

https://blog.youkuaiyun.com/u012361214/article/details/51374012 https://www.cnblogs.com/zhoulixue/p/6700038.html https://blog.youkuaiyun.com/linolzhang/article/details/74159463

qq_35608277的博客 1万+

【亲测免费】 HyperNetX:复杂网络数据分析的强大工具

HyperNetX 是一个专为复杂网络数据分析和可视化设计的开源库。它通过将数据建模为超图(Hypergraph),提供了传统图论指标的广义化方法。HyperNetX 由太平洋西北国家实验室(Pacific Northwest National Laboratory, PNNL)开发,作为其高性能数据分析(HPDA)项目的一部分。该项目的主要开发者包括 Brenda Praggastis、Audu...

gitblog_01070的博客 1139

【深度学习】深入解析HyperNetwork(超网络):原理、应用与实践指南

HyperNetwork(超网络)技术解析与应用指南 HyperNetwork是一种创新神经网络架构,通过小型网络动态生成主网络权重参数。本文系统介绍了HyperNetwork的核心原理、在Stable Diffusion中的具体实现机制,以及与其他微调技术(如LoRA、Embeddings)的对比分析。重点阐述了HyperNetwork的参数高效性(通常<200MB)和风格转换优势,并提供了从模型获取、安装到实际使用的完整操作指南。

欢迎来到我的优快云个人博客主页! 3431
上一篇: RetinaNet:Focal Loss for Dense Object Detection
下一篇: Effective Fusion Factor in FPN for Tiny Object Detection
practical_sharp
博客等级 码龄8年 500粉丝 148原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值