第三章:Faster R-CNN网络详解（《Faster R-CNN: 基于区域提议网络的实时目标检测》）

文章介绍了FasterR-CNN，一种结合区域提议网络(RPN)的目标检测系统，它通过共享卷积特征实现了几乎零成本的区域提议。RPN是一个全卷积网络，能同时预测目标边界和目标得分，与FastR-CNN检测器协同工作。通过端到端训练，FasterR-CNN在PASCALVOC和MSCOCO数据集上实现了高性能目标检测，同时保持了较高的运行速度。

(目标检测篇）系列文章目录

第一章:R-CNN网络详解

第二章:Fast R-CNN网络详解

第三章:Faster R-CNN网络详解

第四章:YOLO v1网络详解

第五章:YOLO v2网络详解

第六章:YOLO v3网络详解

文章目录

系列文章目录
技术干货集锦
前言
一、摘要
二、正文分析
- 1.引入库
- 2.读入数据
总结

技术干货集锦

Faster R-CNN

Faster R-CNN算法流程可分为3个步骤

将图像输入网络得到相应的特征图
使用RPN结构生成候选框，将RPN生成的候选框投影到特征图上获得相应的特征矩阵。
将每个特征矩阵通过ROI pooling层缩放到7x7大小的特征图，接着将特征图展平通过一系列全连接层得到预测结果。

RPN + Fast R-CNN

Faster R-CNN框架

Region proposal

Feature extraction

Classification

Bounding-box regression

(CNN)

前言

引言最近物体检测的进展得益于区域提议方法（例如[4]）和基于区域的卷积神经网络（R-CNN）[5]的成功。尽管最初开发的基于区域的CNN在计算上非常昂贵[5]，但通过在提议之间共享卷积计算[1]，[2]，其成本已经大大降低。最新的版本Fast R-CNN[2]使用非常深的网络[3]实现了接近实时的速度，忽略了在区域提议上花费的时间。然而，在最先进的检测系统中，提议仍然是测试时的计算瓶颈。区域提议方法通常依赖于廉价的特征和经济的推理方案。Selective Search [4]是最流行的方法之一，它基于特定的低级特征贪婪地合并超像素。然而，与高效的检测网络[2]相比，Selective Search的速度慢了一个数量级，每张图像在CPU实现中需要2秒的时间。EdgeBoxes [6]目前在提议质量和速度之间提供了最好的折衷方案，每张图像耗时0.2秒。然而，区域提议步骤仍然消耗与检测网络相同的运行时间。
RPNs旨在高效地预测具有各种尺度和长宽比的区域提议。与常见的方法[8]，[9]，[1]，[2]使用图像金字塔（图1.a）或滤波器金字塔（图1.b）相比，我们引入了新颖的“锚定框”作为多尺度和长宽比的参考。我们的方案可以看作是一个回归参考金字塔（图1.c），避免了枚举多个尺度或长宽比的图像或滤波器。该模型在使用单尺度图像进行训练和测试时表现良好，并且有利于运行速度。为了将RPN与Fast R-CNN[2]目标检测网络统一起来，我们提出了一种训练方案，交替进行区域提议任务的微调和目标检测的微调，同时固定提议。这种方案收敛迅速，并产生了一个统一的网络，卷积特征在两个任务之间共享。我们在PASCAL VOC检测基准测试[11]上对我们的方法进行了全面评估，其中RPN与Fast R-CNN相比，产生了比Selective Search与Fast R-CNN强基线更好的检测准确性。同时，我们的方法在测试时几乎不需要计算负担——提议的有效运行时间仅为10毫秒。使用昂贵的非常深的模型[3]，我们的检测方法在GPU上的帧率仍然达到了5fps（包括所有步骤），因此在速度和准确性两方面都是一个实用的目标检测系统。我们还在MS COCO数据集[12]上报告了结果，并研究了使用COCO数据改进PASCAL VOC的效果。代码已在以下链接中公开提供：https://github.com/shaoqingren/faster_rcnn（MATLAB版本）和https://github.com/rbgirshick/py-faster-rcnn（Python版本）。
这篇论文的初稿先前已经发表过[10]。自那时以来，RPN和Faster R-CNN的框架已被采用并推广到其他方法，如3D物体检测[13]，基于部分的检测[14]，实例分割[15]和图像字幕生成[16]。我们快速而有效的目标检测系统还被应用在商业系统中，如Pinterest [17]，并报告了用户参与度的改善。在ILSVRC和COCO 2015的比赛中，Faster R-CNN和RPN是几个第一名入选的项目的基础，涵盖了ImageNet检测，ImageNet定位，COCO检测和COCO分割的领域[18]。RPN完全通过数据学习提出区域的方法，因此可以轻松受益于更深层次和更具表现力的特征（如[18]中采用的101层残差网络）。Faster R-CNN和RPN也被其他几个领先项目在这些比赛中使用[2]。这些结果表明，我们的方法不仅是一种成本高效的实用解决方案，而且是提高目标检测准确性的有效方法。