Faster R-CNN从原理详解（基于keras代码）

Faster R-CNN从原理详解（基于keras代码）

---

本文主要通过通过keras版本的代码来讲解:https://github.com/yhenon/keras-frcnn
原文链接:http://www.ee.bgu.ac.il/~rrtammy/DNN/reading/FastSun.pdf

1.faster RCNN整个流程图

图1 faster r-cnn基本流程图(来自原论文)

其实RCNN系列目标检测，大致分为两个阶段：一是获取候选区域（region proposal 或 RoI），二是对候选区域进行分类判断以及边框回归。Faster R-CNN其实也是符合两个阶段，只是Faste R-CNN使用RPN网络提取候选框，后面的分类和边框回归和R-CNN差不多。所以有时候我们可以将faster r-cnn看成RPN部分和R-CNN部分。
从如图1可以看出，faster r-cnn又包含了以下4重要的部分：

1. Conv layers
这里应该理解为基本卷积网络(base net).通过该网络来提取原始图片的featuremap特征,最后将这些特征送入RPN网络和RCNN网络。有一点需要注意的就是,真正送入RPN网络的featuremap其实并不是整张图片的产生的featuremap,具体怎么选择,后面仔细说明。在本文的讲解中，我们会使用到两种base Net：vgg16 和 Resnet50.**

2. RPN网络
RPN网络用于生成region proposals（也可以说是RoI-region of interest）。该层通过sigmoid函数判断anchors属于foreground或者background（其实就是一个二分类，论文代码-caffe版本用的softmax输出两个值，前景和背景的概率，本文使用keras版本指数一个值表示前景的概率），再利用bounding box regression修正anchors获得修正后的RoI。**

3. Roi Pooling
该层通过输入feature maps和RoI，其中featuremap就是base Net提取的，而RoI是RPN网络提取的。通过该层pooling实现提取RoI的feature maps，送入后续全连接层判定目标类别。**

4. Classifier
该部分，叫做分类部分，其实就是对候选区域进行检测部分了。利用RoI feature maps计算RoI的类别，同时再次bounding box regression获得检测框最终的位置。**

2.定义网络

2.1 VGG16版本的base Net.

       也就是前面提到的Conv layers，可以看到，该定义的网络在标准的VGG16的基础上去掉了后面的全连接层和softmax层。注意网络中的名字不能乱命名，一定要保持和标准的VGG16网络一直，因为最后训练网络进行初始化的时候，需要根据名字加载预训练的网络。
       可以看到整个网络由5个Block组成：

Block1和Block2：
       由2个（3*3）的卷积层和1个（2*2）的最大池化层构成，由于设置的卷积层的边界padding为1，stride默认为（1，1），所以可以知道（3*3）的卷积层并不改变featuremap的长宽尺度，仅仅改变的featuremap的通道数。而最大池化层池化核的大小为（2,2）同时stride为（2,2），所以经过池化后，featuremap的长宽都变为原来的1/2.
Block3和Block4：
       由三个（3*3）的卷积层和1个（2*2）的最大池化层构成。其中每个层的构成与Bloc1和Block2一致。也即卷积层不会改变featuremap的大小，只有池化层会缩小featuremap的尺度。
Block5：
       仅仅有三个(3*3）的卷基层。

从整个网络可以得出：
假如输入的图片的shape为：（600 * 600 * 3）
输出的featuremap的shape为：（600/16 * 600/16 * 512) = (37 * 37 * 512)
注：假设不考虑batch维。

def nn_base(input_tensor=None,