Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks

Detection with Region Proposal Networks论文笔记)

摘要

最新的目标检测网络是根据region proposal 算法来假定对象位置的。SPPnet 和Fast R-CNN 进一步减少了这些检测网络的运行时间，然而暴露出region proposal的计算是一个瓶颈， 在这项工作中，我们引入了一个区域提议网络（RPN），该区域提议网络与检测网络共享全图像卷积特征，从而实现几乎无开销的region proposal。 RPN是一个全卷积的网络，可以同时预测每个位置的对象边界和对象得分。 对RPN进行了端到端的训练，以生成高质量的region proposal，Fast R-CNN将其用于检测。 通过共享RPN和Fast R-CNN的卷积特征，我们将RPN和Fast R-CNN进一步合并为一个网络-使用最近流行的带有“注意力”机制的神经网络术语，RPN组件告诉统一网络在哪里查看。 对于非常深的VGG-16模型[3]，我们的检测系统在GPU上的帧速率为5fps（包括所有步骤），同时在PASCAL VOC 2007、2012和2007上达到了最新的物体检测精度。 MS COCO数据集，每个图像仅包含300个建议。 在ILSVRC和COCO 2015竞赛中，Faster R-CNN和RPN是在多个赛道中获得第一名的作品的基础。 代码已公开发布。

1 前言

region proposal方法（例如[4]）和基于区域的卷积神经网络（RCNN）[5]的成功推动了目标检测的最新进展。 尽管在最初[5]开发中基于区域的CNN（R-CNN）在计算代价上很昂贵，，但得益于通过proposals共享卷积，因此其成本已大大降低。 最近，Fast R-CNN [2]在不考虑region proposal花费的时间时，通过使用非常深的网络[3]，实现了接近实时的速度。 现在，proposals是最先进的检测系统中的测试时间计算瓶颈。

region proposal的生成主要依赖于较简单的特征和推理方法。选择性搜索[4]是最流行的方法之一，它根据工程化的底层特征贪婪地合并超像素。 然而，与高效的检测网络相比[2]，选择性搜索的速度要慢一个数量级，在CPU实施中每张图片2秒。 EdgeBoxes [6]当前提供建议质量和速度之间的最佳权衡，每张图像0.2秒。 尽管如此，region proposal这一步骤仍然消耗与检测网络一样多的运行时间。

或许有人注意到，Faster R-CNN充分利用了GPU的优势，而研究中使用的region proposal方法则是在CPU上实现的，因此这种运行时比较是不公平的。 加速proposals计算的一种明显方法是在GPU重新实现。 这可能是一种有效的工程解决方案，但是重新实现会忽略下游检测网络，因此会错过共享计算的重要机会。

在本文中，我们证明了算法的变化（使用深度卷积神经网络来计算proposals）会带来一种优雅而有效的解决方案，与检测网络的计算代价相比，proposals的计算几乎是免费的。 为此，我们介绍了新颖的区域提议网络（RPN），该区域提议网络与最新的目标检测网络共享卷积层[1]，[2]。 通过在test-time时共享卷积，计算proposals的边际成本很小（例如，每张图片10毫秒）。

我们的观察是，基于区域的检测器（如Fast RCNN）使用的卷积特征图也可用于生成region proposals。 在这些卷积特征之上，我们通过添加一些其他卷积层来构造RPN，这些卷积层同时回归规则网格上每个位置的区域边界和客观性得分。 因此，RPN是一种全卷积网络（FCN）[7]，可以专门针对生成检测建议的任务进行端到端训练。

RPN旨在以各种比例和纵横比有效预测region proposals。 与使用图像金字塔（图1，a）或滤波器金字塔（图1，b）的流行方法[8]，[9]，[1]，[2]相比，我们引入了新颖的“锚定”框作为多种比例和纵横比的参考。 我们的方案可以看作是回归参考的金字塔（图1，c），它避免了枚举具有多个比例或纵横比的图像或过滤器。 使用单比例尺图像进行训练和测试时，该模型表现良好，从而提高了运行速度。

						- 图 1

为了将RPN与快速R-CNN [2]对象检测网络统一起来，我们提出了一种训练方案，该方案在对region proposal任务进行微调与对对象检测进行微调之间交替，同时保持proposal不变。 这种方案可以快速收敛，并产生具有两个任务之间共享的卷积特征的统一网络。

我们在PASCAL VOC检测基准[11]上全面评估了我们的方法，其中具有快速R-CNN的R