目标检测论文阅读 Faster RCNN

已于 2024-04-27 11:39:43 修改
阅读量2k 收藏 38
点赞数 42
分类专栏： 论文阅读笔记 文章标签： 目标检测 论文阅读 人工智能 计算机视觉 Faster RCNN
于 2024-04-26 22:22:35 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/qq_45738761/article/details/138232255
版权
本文介绍了FasterR-CNN目标检测论文的核心内容，包括区域提议网络RPN的原理、如何通过深度全卷积网络生成候选区域，以及如何通过共享卷积特征和ROI池化进行高效检测。此外，文章还提及了FCN（全卷积网络）在目标检测中的应用，以及上采样技术的优化策略。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

 目标检测论文阅读笔记

目标检测论文阅读 RCNN Rich feature hierarchies for accurate object detection and semantic segmentation-优快云博客

目标检测论文阅读 SPPNet Spatial Pyramid Pooling in Deep Convolutional Networks for Visual Recognition-优快云博客

目标检测论文阅读 Fast R-CNN-优快云博客

目标检测论文阅读 Faster RCNN-优快云博客

目标检测论文阅读 Cascade R-CNN: Delving into High Quality Object Detection-优快云博客

目标检测论文阅读 Mask R-CNN-优快云博客

目标检测论文阅读 YOLO You Only Look Once:Unified, Real-Time Object Detection-优快云博客

Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks

Fast rcnn减少了检测所需的时间，但仍使用传统的SS区域推荐方法，速度有待提升。

论文中提出了区域提议网络RPN，用深度神经网络获取区域建议。RPN与检测网络共享卷积特征（后面说明），从而实现几乎无成本的区域提议。

RPN是一个全卷积网络，它同时预测物体边界和每个位置的物体性得分。RPN通过端到端的训练获取区域建议，并投到fast RCNN中。

Faster R-CNN，由两个模块组成。第一个模块是提出区域的深度全卷积网络，第二个模块是使用提出区域的Fast R-CNN检测器

训练流程：

（1）用CNN提取输入图像的特征，得到feature map

（2）通过RPN网络从feature map得到候选框ROIs/proposal（约2000个），计算每个ROI和gt之间的iou，通过人为的设定一个IoU阈值（通常为0.5）对ROIs进行二分类，判别候选框内容是正样本（前景）还是负样本（背景），并对这些正负样本采样，使得他们之间的比例尽量满足（1:3，二者总数量通常为128），通过回归微调前景的BBox与标注gt接近。

（3）ROI pooling得到等尺寸的feature，再送入多分类器

（4）通过多分类器对候选框进行多分类

（5）再进行BBox回归

测试流程：

（1）用CNN提取输入图像的特征，得到feature map

（2）通过RPN网络从feature map得到候选框ROIs（约300个），并对ROIs进行二分类，判别候选框内容是前景还是背景，留下前景的候选框，抛弃背景候选框。

（3）ROI pooling得到等尺寸的feature，再送入多分类器

（4）通过多分类器对候选框进行多分类

（5）再进行BBox回归

区域提议网络RPN

RPN目的是判断每个像素点对应的k个区域是不是包含目标，如果包含（那么先根据输出的坐标偏置修正box位置）则（作为区域推荐）输给后面的RCNN做进一步判断。

RPN网络相当于提前做了一部分检测，即判断是否有目标（具体什么类别这里不判），以及修正anchor使框的更准一些

RPN网络的输入是CNN得到的feature map，RPN在feature map上用3*3的滑动窗得到对应原图的多个候选框。

滑动窗口中涵盖的部分特征图对应着原图中的一部分区域（感受野）。

Anchor是作用于原图的，论文中采用三种尺寸三种形状的Anchor。特征图上的一个点可以映射回输入图上的一个区域，以特征图的点为中心预先设定k个boxes，这些boxes就称为在这个点上生成的k个anchor boxes（所有anchor boxes的中心点坐标是一样的）。

一个m*n的特征图就有m*n*k个anchor boxes

一次向前传播可以将一个窗口中的所有anchor box（K个，文中为9）送入后续层：分类层判断每个anchor box是前景还是背景，输出2k个Scores；回归层输出anchor box4K个偏移量（注意，这里输出的是坐标偏移量，不是坐标本身，要得到修正后的anchor还要用原坐标和这个偏移量运算一下）

RPN最后的建议层：

损失函数：

可以得知faster rcnn整体的loss由四个部分组成：

（1）RPN网络进行二分类的loss（候选框是前景 or 背景）

（2）RPN网络前景BBox与gt微调的loss，BBox reg loss

（3）多分类的loss，从RPN网络得到的bbox进行多类别判断的loss

（4）最后每个类别BBox reg微调的loss

RPN和fast RCNN ：让二者可以共享网络参数的方式

单独训练的RPN和fast RCNN都以各自的方式修改深度网络的权重，因此需要开发一种允许两个网络间共享卷积层的技术

论文提出了三种联合训练的方法，实际采用的是“四步交替训练”

交替训练：

首先训练RPN，然后使用RPN给的建议来训练Fast R-CNN。然后使用Fast R-CNN调优的网络初始化RPN，并迭代这个过程。

      具体而言：

（1）训练RPN的基本卷积模块（称为基1）和特有卷积模块1（称为特1）

（2）训练Fast RCNN的基本卷积模块2（称为基2）和特有卷积模块2（称为特2）（用RPN的输出作为Fast R-CNN特有卷积模块2的region proposals）

RPN和Fast RCNN的基本卷积模块其实是一样的，只是分别训练了一套参数

（3）训练RPN：基1采用基2的参数并冻结参数，再次训练RPN的特1

（4）训练Fast RCNN：冻结基2参数，用第三步训练过的RPN给Fast RCNN提供区域推荐，训练Fast RCNN的特2参数

（5）重复上述4步，直到模型达到一个比较好的效果

全卷积网络FCN

FCN用到的三种技术：

不含全连接层(fc)的全卷积(fully conv)网络。可适应任意尺寸输入。

增大数据尺寸的反卷积(deconv)层。能够输出精细的结果。

结合不同深度层结果的跳级(skip)结构。同时确保鲁棒性和精确性

CNN网络在卷积层之后会接上若干个全连接层, 将卷积层产生的特征图映射成一个固定长度的特征向量。

以AlexNet为代表的经典CNN结构适合于图像级的分类和回归任务，因为它们最后都期望得到整个输入图像的一个数值描述（概率），比如AlexNet的ImageNet模型输出一个1000维的向量表示输入图像属于每一类的概率。

FCN将传统CNN中的全连接层转化成一个个的卷积层。如下图所示，在传统的CNN结构中，前5层是卷积层，第6层和第7层分别是一个长度为4096的一维向量，第8层是长度为1000的一维向量，分别对应1000个类别的概率。FCN将这3层表示为卷积层，卷积核的大小(通道数，宽，高)分别为（4096,7,7）、（4096,1,1）、（1000,1,1），输出概率特征图。

所有的层都是卷积层，故称为全卷积网络。

FCN网络一般是用来对图像进行语义分割的，于是就需要对图像上的各个像素进行分类---对最后一层卷积产生的特征图（如上图中的tabby cat heatmap）进行上采样，使它恢复到输入图像相同的尺寸，从而可以对每一个像素都产生一个预测，同时保留了原始输入图像中的空间信息。

  1. 跳跃结构

其实直接使用前两种结构就已经可以得到结果了，但是直接将全卷积后的结果上采样后得到的结果通常是很粗糙的。所以这一结构主要是用来优化最终结果的，思路就是将不同池化层的结果进行上采样，然后结合这些结果来优化输出（与FCN思路相同）。

   

对第5层做32倍反卷积（deconvolution），得到的结果不太精确。于是将第 4 层和第 3 层的输出也依次反卷积

卷积转化为矩阵

卷积：

计算：

卷积核：

输入：

我们记向量化的图像为I ^T， 向量化的卷积矩阵为C，输出特征向量为O^T

我们将一个1*16的行向量乘以一个16*4的矩阵，得到一个1*4的行向量，那么反过来一个1*4的向量乘以一个4*16的矩阵不就是能得到一个1*16的行向量，这既是转置卷积的思想。

注意，这两个操作并不是可逆的

上采样：

上采样：对于低分辨率的特征图，常常采用上采样的方式将它还原高分辨率

双线性插值上采样

已知4个Q，线性插值得到两个R，再线性插值得到P

反卷积上采样

普通的卷积操作，会使得分辨率降低，如下图33的卷积核去卷积44得到2*2的输出。

上采样的过程也是卷积，那么怎么会得到分辨率提高呢？之前我们看卷积时有个保持输出与输入同分辨率的方法就是周围补0。

其实上面这种补0的方法是有问题的，只在四周补0会导致最边上的信息不太好，那我们把这个信息平均下，在每个像素与像素之间补0，如下图所示：

反池化上采样

 

（但在实际计算中，并不是通过卷积核在输入上进行滑动计算，效率太低，而是将卷积核转换为等效矩阵）

二阶段目标检测网络-Faster RCNN 详解
专注计算机视觉算法训练，算法优化部署以及SDK开发的知识分享。
09-09 1357
backbone 为 vgg16 的 faster rcnn 网络结构如下图所示，可以清晰的看到该网络对于一副任意大小 PxQ 的图像，首先缩放至固定大小 MxN，然后将 MxN 图像送入网络。
fasterRCNN模型实现飞机类目标检测
最新发布
09-16 2293
使用预训练模型进行微调：项目加载了一个预训练的 Faster R-CNN 模型，特别是基于 ResNet50 的骨干网络，并利用 COCO 数据集的权重进行微调。这种方法能够加快训练过程，减少对大型数据集的依赖，并确保模型能够在新任务中快速收敛，特别是在较小的训练集上，这是一种常见且有效的策略。自定义数据增强：通过代码中的配置，项目特别引入了数据增强机制，比如图像翻转（），有效提升了模型的泛化能力。这种增强不仅扩大了数据的多样性，还能帮助模型更好地适应实际应用场景中的变化，如不同视角的飞机图像。
阅读目标检测综述论文
weixin_43856821的博客
08-18 1488
单阶段基于anchor的方法，包括SSD及其变体、YOLO及其变体、以及RetinaNet等，它们直接对anchors和GT进行匹配来输出预测结果。而两阶段的方法，在对输入的图像提取特征之后，还需要经过region proposals进一步缩小采样空间。在上图中，两阶段方法的差异主要表现在Anchor/RoI set之后首先利用其他的网络（例如RPN网络等）对object proposals进行提取。...
目标检测论文阅读：Deformable Convolutional Networks
思矣远矣
06-01 3108
这篇论文其实读起来还是比较难懂的，主要是细节部分很需要推敲，尤其是deformable的卷积如何实现的一步上，在写这篇博客之前，我也查阅了很多其他人的分享或者去github找代码，当然也不敢说完全了解了这种特殊的卷积……仅仅做一点自己的阅读心得与体会吧。这是一篇很有意义的工作，但是和深度学习很多论文一样，在读完之后内心也不免有着种种疑云。 Deformable Convolutional Net...
目标检测论文阅读：Feature Pyramid Networks for Object Detection
思矣远矣
05-05 3265
Feature Pyramid Networks for Object Detection 1. 问题介绍 2. 具体实现 网络结构 在Faster RCNN当中的使用 3.实验结果 4. 总结 Feature Pyramid Networks for Object Detection 论文链接：https://arxiv.org/abs/1612.03144 代码链...
目标检测系相关论文阅读
苏门蒲元的博客
03-17 280
基于优化的算法 1.泛读（CVPR 2019）GIOU Generalized Intersection over Union: A Metric and A Loss for Bounding Box Regressionhttps://blog.youkuaiyun.com/qq_25800609/article/details/88607684 基于优化损失函数的 1.泛读（ICCV2017）focal...
目标检测论文阅读：Libra R-CNN算法笔记
qq_43631268的博客
02-04 1028
与模型结构相比，对检测器的成功同样至关重要的训练过程在目标检测中受到的关注相对较少。在这项工作中，我们仔细回顾了检测器的常规训练惯例，发现检测性能往往受限于训练过程中的不平衡性，这一般包含三个层次：采样层、特征层和目标层。为了缓解由此带来的不利影响，我们提出了Libra R-CNN，一个用于目标检测的简单有效的平衡学习框架。它集成了三个新颖的组件：IoU平衡采样、平衡特征金字塔和平衡L1损失，分别用于减少采样、特征和目标层的不平衡。得益于整体平衡的设计，Libra R-CNN显著提升了检测性能。
目标检测模型-Faster-RCNN模型-Pytorch版本
05-13
Faster R-CNN（Faster Region-based Convolutional Neural Network）是一种流行的目标检测框架，由Shaoqing Ren、Kaiming He、Ross Girshick和Jian Sun在2015年提出。Faster R-CNN在目标检测领域具有里程碑意义，...
目标检测——Faster RCNN
fortune_cookie的博客
10-09 3727
Faster RCNN是由 R-CNN、Fast R-CNN 改进而来，是非常经典的目标检测的两阶段网络。Faster R-CNN 第一步要使用在图片分类任务 (例如，ImageNet) 上预训练好的卷积神经网络，使用该网络得到的中间层特征的输出。Conv layers 包含了 conv，pooling，relu 三种层。一个 MxN 大小的矩阵经过 Conv layers 固定变为 (M/16)x(N/16) ，这样 Conv layers 生成的 feature map 中都可以和原图对应起来。
RCNN，FastRCNN，FasterRCNN论文
11-01
**RCNN，FastRCNN，FasterRCNN论文解析** 目标检测是计算机视觉领域中的一个核心任务，旨在在图像中定位并识别出不同类别的物体。RCNN（Region-based Convolutional Neural Network）系列算法是该领域的重要里程碑...
目标检测论文阅读：TridentNet算法笔记
qq_43631268的博客
01-20 681
尺度变化是目标检测中的关键挑战之一。在这项工作中，我们首先提出一个控制实验来研究感受野对目标检测中尺度变化的影响。基于探究实验的发现，我们提出一种新颖的三叉戟网络（TridentNet），旨在生成具有统一表征能力的特定尺度特征图。我们构建了一个并行的多分支结构，每个分支都共享相同的变换参数，但具有不同的感受野。然后，我们使用一种尺度感知的训练方案，通过在训练时采样适当尺度的目标实例，使每个分支特定化。此外与原始检测器相比，TridentNet的快速近似版本可以在没有任何额外参数和计算成本情况下实现显著提升。
深度学习论文阅读目标检测篇（一）：R-CNN《Rich feature hierarchies for accurate object detection and semantic...》
与君共勉，一起学习
04-19 5506
深度学习论文阅读（七）：R-CNN《Rich feature hierarchies for accurate object detection and semantic segmentation》Abstract 摘要1.Introduction 引言2.Object detection with R-CNN 使用 R-CNN 做物体检测2.1 Module design Region proposals 模块设计区域推荐2.2Test-time detection 测试阶段的物体检测2.3 Traini
深度学习论文阅读目标检测篇（四）中文版：YOLOv1《 You Only Look Once: Unified, Real-Time Object Detection》
与君共勉，一起学习
05-12 1797
深度学习论文阅读目标检测篇（四）中文版：YOLOv1《YouOnlyLookOnce:Unified,Real-TimeObjectDetection》摘要1.引言2. 统一的检测2.1NetworkDesign网络设计2.2Training训练2.3Inference推断2.4YOLO的缺点3.ComparisontoOtherDetectionSystems与其它检测系统的比较4.实验4.1与其它实时系统的比较4.2VOC2007ErrorAnalysisVOC2007检测误差分析4.3结合FastR-
目标检测论文阅读：CornerNet
思矣远矣
09-13 5488
CornerNet: Detecting Objects as Paired Keypoints 论文链接：https://arxiv.org/abs/1808.01244 代码链接： https://github.com/umich-vl/CornerNet ECCV 2018的paper list已经更新，想要下载的可以去这儿找。本周介绍的正是ECCV 2018上的CornerNet，这...
目标检测论文阅读：GHM(anchor based)
思矣远矣
10-25 3147
目标检测论文阅读：GHM(anchor based) 论文链接：https://arxiv.org/abs/1811.05181 代码链接：https://github.com/libuyu/GHM_Detection 今天介绍一篇AAAI 2019的文章，Gradient Harmonized Single-stage Detector。 ...
目标检测论文阅读：RFB Net
思矣远矣
10-21 1409
Receptive Field Block Net for Accurate and Fast Object Detection 论文链接：https://arxiv.org/abs/1711.07767 代码链接：https://github.com/ruinmessi/RFBNet 这周接着来看ECCV 2018的文章。这篇RFB Net在我看上一周提到的那篇综述的时候，出现的频率特别高，于是...
目标检测论文阅读：Cascade R-CNN: Delving into High Quality Object Detection
热门推荐
思矣远矣
04-25 2万+
Cascade R-CNN: Delving into High Quality Object Detection 1.思想简介 2.相关工作及一些证明 Iterative BBox及对比 Iterative Loss 3.Cascade R-CNN的实现与结果 4.总结 Cascade R-CNN: Delving into High Quality Object Dete...
（十八）论文阅读 | 目标检测之ATSS
Skies_的博客
05-08 2454
简介 图1：论文原文 论文是发表在CVPR 2020{\rm CVPR\ 2020}CVPR 2020上的一篇关于目标检测文章。我们知道，在训练目标检测模型过程中，为了增强模型的鲁棒性、减弱正负样本的不平衡性，通常会对所有样本按一定比例（目标检测中通常设定为1:3{\rm 1:3}1:3）采样正负样本。而采样样本的质量直接决定了训练模型的性能，甚至影响训练过程的收敛。根据前人工作，作者提出一种自适应采样方法，ATSS{\rm ATSS}ATSS。同时，实验证明了在Anchor{\rm.
小目标检测论文阅读
开心的火龙果的博客
08-26 1万+
下面记录了一些论文的阅读总结： 算法发展历程： 传统图像算法： 传统图像算法使用hand-made feature，常用方法有SIFT、HOG、图像金字塔等。对于小目标的检测，传统图像算法有人工复杂度高，模型泛化性差等缺点，因此逐渐被深度学习模型取代。 深度学习： 小目标检测在深度学习卷积神经网络模型中一直是一个难题。早期的目标检测框架（R-CNN、YOLO系列）对于小目标检测的效果都不甚良...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值