Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks----论文笔记

一、为什么提出Faster R-CNN

Faster R-CNN的前身Fast R-CNN能达到实时检测，如果不考虑它用selective search计算region proposal所花时间的话。为此作者提出了Region Proposal Network(RPN)，该深度网络通过共享卷积网络，使计算region proposal的时间几乎可以忽略不计（10 ms/图）！

二、Faster R-CNN框架 = Fast R-CNN + RPN(取代selective search)

三、RPN结构

1）输入: 一张图像，输出: 多个矩形object proposal 。

​ 注：每个object proposal都有objectness score，衡量此object proposal有多大程度上是一个物体。

2）输入图像经过前面多个共享的卷积层，至最后一个共享卷积层输出的conv feature map，才算刚到RPN网络的开始。

​ 注：conv feature map有好多张。

3）RPN与conv feature map上滑动的$n{\times}n$窗口全连接，每个窗口映射到一个固定长度的低维向量（图示中是256维）。

4）此向量再分别输入两个全连接层：cls layer和reg layer。

​ 注：在每个窗口位置，会预测k个（文中k=9）region proposal。所以 cls layer输出2k个score来衡量这k个region proposal分别有多大程度属于物体，而reg layer输出4k维来定位（中心坐标、长、宽）各个box 。

5）以上只是一个窗口产生的box，一张图像一般会有2k左右的box，也就有相应数量的感兴趣图像区域（RoI）输入到fast R-CNN框架中。

三、Faster R-CNN的优点

1）替代掉费时的selective search方法，速度提高了。

2）能与Fast R-CNN共享一部分卷积层，计算效率（速度）提高了。

3）RPN产生的region proposal质量高，准确率（mAP）也提高了。

四、Faster R-CNN的缺点

1）文中采用的联合优化方法（joint optimizing）应该有更好的方法。

2）NPR产生的在图像边缘的region proposal信息被丢弃了。

五、Faster R-CNN的补充

• 联合优化方法。

  ​1）用在ImageNet上训练好的模型初始化网络，然后微调网络以适用产生候选区域（region proposal）任务。

  ​2）利用第一步训练好的RPN产生的proposal，Fast R-CNN训练一个独立的检测网络，该检测网络也是用在ImageNet上训练好的模型初始化的。

  ​注：到目前两个网络还没有共享卷积层。

  ​3）用检测网络初始化RPN训练网络，但固定共有卷积层，只微调RPN网络独有的层。

  ​4）保持共有的卷积层固定，微调Fast R-CNN网络的fc层。

  ​注：至此，两个网络便共享了同样的卷积层，形成了一个统一的网络 。