《Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks》论文阅读之Faster R-CNN

最新推荐文章于 2024-03-05 16:48:31 发布
最新推荐文章于 2024-03-05 16:48:31 发布
阅读量878 收藏 3
点赞数
CC 4.0 BY-SA版权
分类专栏： Paper  Reading 目标检测/跟踪 卷积神经网络 文章标签： 目标检测
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/gavinmiaoc/article/details/80704583
Faster R-CNN是一种先进的目标检测模型，它通过引入区域提议网络（RPN）实现了端到端的训练过程，显著提升了检测速度和精度。本文详细介绍了Faster R-CNN的工作原理、关键组件及其训练策略。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

论文阅读：https://arxiv.org/abs/1506.01497

源码地址https://github.com/kevinjliang/tf-Faster-RCNN

论文翻译：点这里

前言

Fast-RCNN基本实现端对端（除了proposal阶段外），下一步自然就是要把proposal阶段也用CNN实现（放到GPU上）。这就出现了Faster-RCNN，一个完全end-to-end的CNN对象检测模型。

经过R-CNN和Fast RCNN的积淀，Kaiming He大神和Rgb(Ross B. Girshick)大神强强联手在2016年提出了新的Faster R-CNN，在结构上，Faster RCNN已经将特征抽取(feature extraction)，proposal提取，bounding box regression(rect refine)，classification都整合在了一个网络中，使得综合性能有较大提高，在检测速度方面尤为明显。

 

Introduction

从RCNN到Fast R-CNN，再到本文的Faster R-CNN，目标检测的四个基本步骤（候选区域生成，特征提取，分类，位置精修）终于被统一到一个深度网络框架之内。剔除了大部分的计算冗余，大部分训练过程在GPU中完成，进一步提高了运行速度。

三个框架的示意图如下： 
这里写图片描述

 

 

 

 

Faster R-CNN主要用两个模块组成：

  • 第一个模块是深层的全卷积网络用于区域推荐
  • 第二个模块是Fast R-CNN detector.

Faster R-CNN可以看做”区域生成网络+fast R-CNN”的系统，用区域生成网络代替Fast-RCNN中的Selective Search方法，来产生一堆候选区域。

 

亮点

Faster R-CNN可以看做“区域生成网络+Fast R-CNN“的系统，其中区域生成网络代替了Fast RCNN中的Selective Search方法。 
Faster R-CNN解决了三个问题：

  • 如何设计区域生成网络
  • 如何训练区域生成网络
  • 如何让区域生成网络和Fast R-CNN网络共享特征提取网络
  •  

侯选区域生成网络（RPN）

为什么要整出来侯选区域生成网络？

当前检测网络最耗时的地方在proposals选取。现在用的最多的时Selective Search,这在测试过程中会耗费较多的时间。

我们可以注意到，CNN在GPU上有着计算优势，有一个很直接的想法就是候选区域算法能从CPU上移植到GPU上，这是一个好的工程想法，但是这样的做法忽略了共享计算的可能.

论文提出了使用CNN来推荐候选区域，称之为RPNs(Region Proposal Networks)。作者观察到区域检测器(例如Fast R-CNN)的卷积层后的特征映射(feature map)可用户RPNs生成侯选区域.在特征映射的基础上向后添加几层卷积层构成区域推荐网络。这是一个FCN(fully convolutional network,全卷积网络).

先使用VGG等现有模型提取特征，然后使用一个小的网络在卷积最后得到的这个特征图上进行滑动扫描，这个滑动的网络每次与特征图上n*n 的窗口全连接，然后映射到一个低维向量，最后将这个低维向量送入到两个全连接层，对特征图上所有可能的候选框进行分类和回归。

 

 

 

 

侯选区域生成网络架构

RPN网络基本设想是：在提取好的特征图上，通过一个滑动窗口获取特征向量，然后输出到两个全连接层:

  • 一个是box-regression layer(reg)
  • 另一个是 box-classification layer(cls).

 

 

 

 

上图中可以看到，在feature map上会有一个sliding window,这个sliding window会遍历feature map上的每一个点，并且在每个点上配置k个anchor boxes。

这k个anchor boxes就是用于提取feature map上的特征，但是这样提取出来效果不是很好，所以后面会接一个分类器和一个bbox回归，这样就能修正检测位置了。

 

 

 

侯选区域生成网络(Region Proposal Networks,RPN),RPN网络接收任意大小的图片作为输入，输出一组目标侯选矩形框，并带有目标分数.

 

基本设想是：在提取好的特征图上，对所有可能的候选框进行判别。由于后续还有位置精修步骤，所以候选框实际比较稀疏。 

 

下面详细介绍一下anchor boxes的概念。

 

Anchors

在每一个滑动窗口的位置，我们同时预测k个推荐区域，故reg层有4k个输出(每个侯选区域是一个元素个数为4的元组)。cls层输出2k个得分(即对每个推荐区域是目标/非目标的估计概率)

k个推荐区域对应着k个参考框的参数形式，我们称之为anchors.每个anchor以当前滑动窗口的中心为中心，并与尺度和长宽比相关。默认地我们使用3种尺度和3种长宽比，对于每个滑动位置就有k=9个anchor。对于大小为W×HW×H（例如2,400）的卷积特征映射，总共有WHkWHk个anchor。

这里写图片描述

特征可以看做一个尺度51*39的256通道图像，对于该图像的每一个位置，考虑9个可能的候选窗口：三种面积{1282,2562,5122}×{1282,2562,5122}× 三种长宽比例{1:1,1:2,2:1}

{1:1,1:2,2:1}, 下图示出51*39个anchor中心，以及9种anchor示例。

 

这些候选窗口就称为anchors。 
下图示出51*39个anchor中心，以及9种anchor示例。 
这里写图片描述

 

 

 

 

为方便举例，由VGG等现有模型提取的特征图，在这里我们将其看做尺度为51*39的256通道的图像，然后在这个特征图上进行滑窗操作。

在特征图上进行的滑窗操作，相当于映射回原图后，Sliding Window中心对应的原图上的中心，在不同尺寸和比例的anchor区域中进行特征提取（这个对应关系是在实现代码里事先确定好的）；同时值得一提的是，作者实验指出，映射回原图的anchor比Sliding Window相应的感受野大一点也是可以的，因为有可能像人一样有预测边缘的能力。（感受野计算，见这里）

另一方面，Sliding Window的尺寸为3*3的滑窗操作可以看做3*3的卷积核与特征图进行卷积操作（也就是那“额外”的conv+relu层），那么这个3*3的区域卷积后可以获得一个256维的特征向量。 
这个256维的向量提取的特征就对应着一个Sliding Window中心映射回原图后，9个anchor所在的区域。 
当然我们知道，Sliding Window在不断滑动，所以还有很多这样的256维向量。 
这里写图片描述

分类层（cls_score）输出每一个位置上，9个anchor属于前景和背景的概率；窗口回归层（bbox_pred）输出每一个位置上，9个anchor对应窗口应该平移缩放的参数。 
对于每一个位置来说，分类层从256维特征中输出属于前景和背景的概率；窗口回归层从256维特征中输出4个平移缩放参数。

就局部来说，这两层是全连接网络；就全局来说，由于网络在所有位置（共51*39个）的参数相同，所以实际用尺寸为1×1的卷积网络实现。

 

窗口分类和位置精修

分类层（cls_score）输出每一个位置上，9个anchor属于前景和背景的概率；窗口回归层（bbox_pred）输出每一个位置上，9个anchor对应窗口应该平移缩放的参数。 
对于每一个位置来说，分类层从256维特征中输出属于前景和背景的概率；窗口回归层从256维特征中输出4个平移缩放参数。
就局部来说，这两层是全连接网络；就全局来说，由于网络在所有位置（共51*39个）的参数相同，所以实际用尺寸为1×1的卷积网络实现。
需要注意的是：并没有显式地提取任何候选窗口，完全使用网络自身完成判断和修正。

侯选区域生成网络的训练

训练数据

对每个anchor给定标签选项，认定两种anchors为正样本:

  • anchor/anchors与ground-truth box有着最高的IoU记为正样本
  • 剩下的anchor/anchors与任何ground-truth box的IoU大于0.7记为正样本，IoU小于0.3，记为负样本
  • 剩下的anchor/anchors记为非正样本，对训练没有贡献，不使用

同一个ground-truth可以确定多个anchors.

损失函数

这里使用的损失函数和Fast R-CNN内的损失函数原理类似，同时最小化两种代价: 

L({pi},{ti})=1Ncls∑iLcls(pi,p∗i)+λ1Nreg∑ip∗iLreg(ti,t∗i)L({pi},{ti})=1Ncls∑iLcls(pi,pi∗)+λ1Nreg∑ipi∗Lreg(ti,ti∗)

 

  • RPN可以BP算法和SGD算法完成end-to-end训练。每个mini-batch的数据包含着一张图片上的多个正样本和负样本。
  • 在网络参数初始化上，前面的卷积层使用预训练的ImageNet的网络参数，新添加的层使用随机的高斯分布初始化权重.

  • 代价函数
    同时最小化两种代价： 
    a. 分类误差 
    b. 前景样本的窗口位置偏差 
     

    超参数
    原始特征提取网络使用ImageNet的分类样本初始化，其余新增层随机初始化。 
    每个mini-batch包含从一张图像中提取的256个anchor，前景背景样本1:1. 
    前60K迭代，学习率0.001，后20K迭代，学习率0.0001。 momentum设置为0.9，weight decay设置为0.0005。

共享特征

RPN和Fast R-CNN都需要一个原始特征提取网络（下图灰色方框）。这个网络使用ImageNet的分类库得到初始参数W0，但要如何精调参数，使其同时满足两方的需求呢？本文讲解了三种方法。

 

 

 

 

  • Alternating training(轮流训练)

    • 先独立训练RPN，然后用这个RPN的网络权重对Fast-RCNN网络进行初始化并且用之前RPN输出proposal作为此时Fast-RCNN的输入训练Fast R-CNN
    • 用Fast R-CNN的网络参数去初始化RPN
    • 交换a,b训练过程即可

    具体操作时，仅执行两次迭代(后面再迭代，效果没啥大的提升)，并在训练时冻结了部分层。

  • Approximate joint training(近似联合训练) 

 

 

 

  • 直接在上图结构上训练。proposals是由中间的RPN层输出的，而不是从网络外部得到。需要注意的一点，名字中的”approximate”是因为反向传播阶段RPN产生的cls score能够获得梯度用以更新参数，但是proposal的坐标预测则直接把梯度舍弃了，这个设置可以使backward时该网络层能得到一个解析解，能将训练时间减少20%-25%。(这里照搬别人的blog，自己没看懂晓雷)。

  • Non-approximate training(联合训练)

    直接在上图结构上训练，上面的Approximate joint training把proposal的坐标预测梯度直接舍弃，所以被称作approximate，那么理论上如果不舍弃是不是能更好的提升RPN部分网络的性能呢？作者把这种训练方式称为“ Non-approximate joint training”，论文没有对这个方法进行讨论。

 

 

参考文献：

1.https://blog.youkuaiyun.com/u011534057/article/details/51247371

2.https://blog.youkuaiyun.com/u011974639/article/details/78053203#faster-r-cnn

3.https://zhuanlan.zhihu.com/p/24916624

4.https://zhuanlan.zhihu.com/p/31426458

5.https://blog.youkuaiyun.com/xg123321123/article/details/53073388

 

论文笔记：Faster R-CNN:Towards Real-Time Object Detection with Region Proposal Networks
暗小汐的专栏
06-16 1万+
论文笔记：Faster R-CNN:Towards Real-Time Object Detection with Region Proposal Networks文章： http://arxiv.org/abs/1506.01497 源码：坐等。。。。目录：论文笔记 Faster R-CNNTowards Real-Time Object Detection with Region Propo
Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks
u013114420的博客
02-25 2232
Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks论文笔记摘要前言功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入 Detec
读书笔记：Faster R-CNN：Towards Real-Time Object Detection with Region Proposal Networks
Jesse_08的博客
11-27 411
Faster R-CNN：Towards Real-Time Object Detection with Region Proposal Networks 著名的faster R-CNN 当然应该好好读一读~ Abstract： 背景：先进的主流网络的目标检测网络，都依赖着region proposal algorithms来推测对象位置。先进的SPPnet Fast-RCNN 都减少了目标检测探测器的运行时间，通过将region proposal computation作为bottleneck（这个地方
Faster R-CNN Towards Real-Time Object Detection With Region Proposal Networks
08-06
论文标题中提到的“Region Proposal Networks”（区域建议网络）是Faster R-CNN的核心创新之一，而其全称为“Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks”。这篇论文由微软...
Faster R-CNN: Towards Real-Time Object Detection with Region
04-06
Faster R-CNN的核心创新在于引入了区域提议网络（Region Proposal Network，RPN），它与检测网络共享全图像卷积特征，从而几乎免费地生成高质量的区域提议。 Faster R-CNN的前驱工作，如SPPnet和Fast R-CNN，虽然...
【论文精读】【Faster RCNN】Faster R-CNN :Towards Real-Time Object Detection with Region Proposal Networks
weixin_44184852的博客
03-05 1550
最先进的目标检测网络依赖于候选框算法来假设目标位置。像SPPnet[7]和Fast R-CNN[5]这样的进步已经减少了这些检测网络的运行时间，暴露了候选框计算作为一个瓶颈。在这项工作中，我们介绍了一个候选框网络（RPN），它与检测网络共享全图像卷积特征，从而实现几乎免费的候选框。RPN是一个完全卷积的网络，它同时预测每个位置的目标边界和目标分数。RPN被端到端训练以生成高质量的候选框，这些建议被Fast R-CNN用于检测。通过简单的交替优化，可以训练RPN和Fast R-CNN共享卷积特征。
目标检测经典论文——Faster R-CNN论文翻译：Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Net
bigcindy的博客
07-29 5425
Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks Faster R-CNN：通过Region Proposal网络实现实时目标检测 Shaoqing Ren, Kaiming He, Ross Girshick, and Jian Sun Abstract State-of-the-art object detection networks depend on r...
【笔记】Faster-R-CNN: Towards Real-Time Object Detection with Region Proposal Networks
女王の专属领地
06-22 2005
论文地址：https://arxiv.org/pdf/1506.01497.pdf论文代码：https://github.com/ShaoqingRen/faster_rcnn https://github.com/rbgirshick/py-faster-rcnn  重要：训练文件.prototxt说明：http://blog.youkuaiyun.com/Seven_year_Promise/articl...
Faster R-CNN: Towards Real-Time Object Detectionwith Region Proposal Networks--文献笔记
weixin_46319994的博客
03-05 696
摘要 目前最先进的物体检测网络依靠区域提议（proposal）算法来假设物体的位置。 SPPnet 和Fast R-CNN 之类的进步减少了这些检测网络的运行时间，但也揭示了区域提议计算存在瓶颈。 在这项工作中，我们引入了一个区域提议网络（RPN），该区域提议网络与检测网络共享全图像卷积特征，从而实现几乎免费（计算）的区域提议。RPN是一个全卷积的网络，可以同时预测每个位置的目标边界和目标得分。对RPN进行了端到端的训练，以生成高质量的区域建议，Fast R-CNN将这些区域提议用于检测。 通过共享
【Faster RCNN】《Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks》
bryant_meng
08-17 1072
NIPS-2015 NIPS，全称神经信息处理系统大会(Conference and Workshop on Neural Information Processing Systems)，是一个关于机器学习和计算神经科学的国际会议。该会议固定在每年的12月举行,由NIPS基金会主办。NIPS是机器学习领域的顶级会议 。在中国计算机学会的国际学术会议排名中，NIPS为人工智能领域的A类会议。 文...
Faster R-CNN: Towards Real-Time ObjectDetection with Region Proposal Networks
znsjsnsnsn的博客
04-05 366
1.Proposal Layer有3个输入：positive vs negative anchors分类器结果rpn_cls_prob_reshape，对应的bbox reg的 变换量rpn_bbox_pred，以及im_info；在作者的论文中，默认在每一个点上抽取了9种Anchors，具体Scale为{8, 16, 32}, Ratio为{0.5, 1, 2}，将这9种Anchors的大小反算到原图上，即得到不同的原始Proposal,实际上通过anchors就引入了检测中常用到的多尺度方法。
[Faster R-CNN] Towards Real-Time Object Detection with Region Proposal Networks
sinat_30618203的博客
08-09 326
Overview 1、解决问题 region proposal computation（test time）瓶颈 2、创新 1）提出Region Proposal Network（RPN），和detection network共用卷积特征，使得提proposal过程cost-free 2）single，unified network 3、网络 input ...
Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks实验部分代码复现
最新发布
03-15
<think>好的，我现在需要帮助用户解决关于Faster R-CNN论文中实验部分的代码复现问题，特别是使用PyTorch和TensorFlow的情况。首先，我要回顾用户提供的引用内容，确保回答准确。 用户引用了三个来源，其中引用[1]详细解释了Faster R-CNN的结构和背景，引用[2]提到了Fast R-CNN的PyTorch实现步骤，而引用[3]则提供了一个具体的代码仓库和训练命令。这些信息都是关键，尤其是引用[3]中的代码复现步骤，用户可能已经尝试过但需要更多指导。 接下来，我需要明确用户的需求：他们希望复现Faster R-CNN的实验部分，可能包括训练、评估和结果对比。需要确认用户是否已经了解Faster R-CNN的基本结构，比如RPN网络、RoI池化等，但根据问题描述，用户可能已经具备一定基础，现在需要具体的代码实现指导。 根据引用[3]，使用PyTorch复现的步骤已经存在，但用户可能需要更详细的说明，比如环境配置、数据准备、参数调整等。而TensorFlow的实现可能需要参考其他资源，用户提供的引用中没有直接提到，但可以建议官方实现或其他可靠仓库。 在回答时，需要分步骤说明PyTorch和TensorFlow的实现方法，并引用提供的资料。例如，PyTorch部分可以基于引用[3]的代码库，而TensorFlow则可能需要寻找其他资源。同时，要提醒用户注意数据集的准备，如PASCAL VOC或COCO，以及训练时的参数设置，如学习率、批次大小等。 还需要考虑用户可能遇到的常见问题，比如依赖项安装、CUDA版本兼容性、训练过程中的调试技巧。可以建议用户查看仓库的文档和issue部分，以解决特定错误。 最后，生成相关问题时要围绕复现过程中可能遇到的挑战和进一步的应用，比如性能优化、模型调整、结果可视化等。确保问题有助于用户深入理解和解决实际问题。</think>关于Faster R-CNN实验部分的代码复现，根据提供的参考资料，我为您梳理PyTorch和TensorFlow实现的关键步骤： ### 一、PyTorch复现方案 1. **代码库推荐**： simple-faster-rcnn-pytorch（引用[3]）是一个轻量级实现，包含完整的训练/验证流程，支持PASCAL VOC数据集。其核心实现包括： ```python # RPN网络结构示例 class RPN(nn.Module): def __init__(self, in_channels=512, mid_channels=512): super().__init__() self.conv = nn.Conv2d(in_channels, mid_channels, 3, padding=1) self.cls_layer = nn.Conv2d(mid_channels, 18, 1) # 9 anchors * 2(fore/back) self.reg_layer = nn.Conv2d(mid_channels, 36, 1) # 9 anchors * 4(dx,dy,dw,dh) # RoI池化层 roi_pool = RoIPool(7, 7, spatial_scale=1.0/16) ``` 2. **训练配置**（引用[3]）： ```bash python train.py train \ --env='fasterrcnn-caffe' \ --plot-every=100 \ --caffe-pretrain ``` 关键参数说明： - `--caffe-pretrain`: 使用Caffe预训练的VGG16权重 - `--plot-every`: 每100次迭代可视化损失和预测结果 3. **实验指标实现**： 需在`eval.py`中实现： ```python def eval_detection(pred_boxes, gt_boxes, iou_threshold=0.5): # 计算mAP的逻辑 ... return AP, precision, recall ``` ### 二、TensorFlow复现方案 推荐使用官方实现[TensorFlow Models](https://github.com/tensorflow/models/tree/master/research/object_detection)，其包含： 1. **配置文件关键参数**： ```protobuf faster_rcnn { num_classes: 20 image_resizer { keep_aspect_ratio_resizer { min_dimension: 600, max_dimension: 1024 }} feature_extractor { type: 'faster_rcnn_resnet101' } first_stage_anchor_generator { ... } second_stage_box_predictor { ... } } ``` 2. **训练命令**： ```bash python object_detection/model_main.py \ --pipeline_config_path=configs/faster_rcnn_resnet101_voc.config \ --model_dir=training/ ``` ### 三、实验复现注意事项 1. **数据集准备**： - PASCAL VOC需转换为COCO格式（引用[3]的实现使用自定义数据加载器） - 数据增强建议包括：随机水平翻转、颜色抖动、缩放裁剪 2. **收敛性调试**： - 初始学习率建议设为$3\times10^{-4}$，每5个epoch衰减10% - RPN建议使用Smooth L1 Loss，分类任务使用CrossEntropy Loss 3. **硬件要求**： | 框架 | GPU显存 | 训练时间(VOC) | |---------|-------|------------| | PyTorch | 8GB | ~12小时 | | TensorFlow | 11GB | ~18小时 | ### 四、实验结果验证 应复现论文中的关键指标： $$ \text{mAP} = \frac{1}{N}\sum_{i=1}^{N} AP_i $$ 在VOC2007 test set上应达到约70.0% mAP（使用ResNet-101时）[^1]
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值