简介
Faster-RCNN是在之前提出的Fast-RCNN上进行的改进，由于之前的两步目标检测模型大多都是采用Selective Search进行Proposals的生成，这个操作是需要在CPU上进行计算的，所以会导致耗费特别长的计算时间，论文中指出，在测试过程中，生成一张图像的proposals大概耗时1.5s左右，严重影响了整个检测过程的时间，所以这篇文章主要提出了RPN网络，将生成待选框的操作也交给了深度学习，这样有了GPU加速的优势，生成待选框的时间基本上可以忽略不计。
模型概览
模型主要分为以上的几个部分，绿色是模型的主要模块。
- 左侧Dataset就是需要训练的数据集，其中COCO和VOC都是比较经典的目标检测数据集。
- 上方RPN就是论文中新提出的生成待选框的模块，任务就是生成proposals
- 中间的VGG是提取图像特征的部分，VGG是论文提出时最好的图像分类模型，现在已经有ResNet等作为替代。
- 最右边的ROI Pooling。ROI的意思就是Region of Interest，指的是在特征图中那些待选区域的映射，随后要进行pooing以进行后面的操作。
我找的代码是Pytorch版本的（由于原版需要的框架都比较老，有大神在Pytorch上实现了1.0版本）
以下是Pytorch1.0版本的代码链接：faster-rcnn.pytorch
下面就逐个模块的理解一下代码，就从第一步RPN开始：
（一）RPN部分
简介
RPN主要完成的任务是在图像中利用神经网络去寻找待选区域（Proposals），模型主要接收卷积层提供的feature map，然后分别包含了两个全连接层，一个是box-regression layer，另一个是box-classification layer。前者是边框回归，主要是看生成的待选框和真实的bounding box有多大的差距，进行回归，第二个是分类模型，他就是一个简单的softmax二分类的操作，主要任务是区分这个区域是一个目标对象还是背景。NMS是对proposals进行了一个筛选，避免了冗余和浪费，接下来让我们看一下RPN网络整体的操作：
- 模型输入：卷积层的feature map以及ground truth的BBox
- 模型输出：感兴趣的区域ROIs
- 模型构造：一个Classification一个Regression
- 损失函数：
接下来开始进入代码部分：
generate_anchors主要用于生成anchor，anchor是根据feature map中特征点，来生成边框，这个边框是不准的，所以要经历回归这步，来和ground_truth进行回归，在fasterRCNN总共生成了3个不同的纵横比radio=[0.5, 1, 2]以及三种尺度scale=[8, 16, 32].
from __future__ import print_function
# --------------------------------------------------------
# Faster R-CNN
# Copyright (c) 2015 Microsoft
# Licensed under The MIT License [see LICENSE for details]
# Written by Ross Girshick and Sean Bell
# --------------------------------------------------------
import numpy as np
import pdb
# Verify that we compute the same anchors as Shaoqing's matlab implementation:
#
# >> load output/rpn_cachedir/faster_rcnn_VOC2007_ZF_stage1_rpn/anchors.mat
# >> anchors
#
# anchors =
#
# -83 -39 100 56
# -175 -87 192 104
# -359 -183 376 200
# -55 -55 72 72
# -119 -119 136 136
# -247 -247 264 264
# -35 -79 52 96
# -79 -167 96 184
# -167 -343 184 360
#array([[ -83., -39., 100., 56.],
# [-175., -87., 192., 104.],
# [-359., -183., 376., 200.],
# [ -55., -55., 72., 72.],
# [-119., -119., 136., 136.],
# [-247., -247., 264., 264.],
# [ -35., -79., 52., 96.],
# [ -79., -167., 96., 184.],
# [-167., -343., 184., 360.]])
try:
xrange # Python 2
except NameError:
xrange = range # Python 3
# 这个的上面是python2和python3的兼容
#=====================================
# 函数输入：给定基本anchor的大小16，以及一系列ratio和scales
# 函数输出：根据一个base anchor和三个横纵比和大小，生成9个不同的anchor
#=====================================
# 这是整个代码里面最核心的一个函数，建议先看下面的函数再来看这个
# 首先输入了一个base_size是16，三种尺度0.5，1，2以及三种scales分别是2的3,4,5次方8,16,32
# 先生成了一个基本的anchor[0, 0, 15, 15]
# 然后通过这个anchor来迭代不同的ratio，这样就生成了3个anchor
# 最后再用这三个anchors迭代不同的scales最后生成了9个anchors
def generate_anchors(base_size=16, ratios=[0.5, 1, 2],
scales=2**np.arange(3, 6)):
"""
Generate anchor (reference) windows by enumerating aspect ratios X
scales wrt a reference (0, 0, 15, 15) window.
"""
base_anchor = np.array([1, 1, base_size, base_size]) - 1
ratio_anchors = _ratio_enum(base_anchor, ratios)
anchors = np.vstack([_scale_enum(ratio_anchors[i, :], scales)
for i in xrange(ratio_anchors.shape[0])])
return anchors
#=====================================
#_whctrs(anchor)
#函数输入：一个anchor的左下角右上角坐标
#函数输出：一个anchor的w，h, 以及中心点坐标(x_ctr, y_ctr)
#=====================================
# 这个函数是返回一个anchor的width, height, 中心点坐标(x, y)
# 其中anchor是一个数组，0,1,2,3分别表示的anchor的左上角，右下角坐标(X1, y1) (x2, y2)
# 经过计算就能得到w和h，以及中心点x_ctr和y_ctr
def _whctrs(anchor): #
"""
Return width, height, x center, and y center for an anchor (window).
"""
w = anchor[2] - anchor[0] + 1
h = anchor[3] - anchor[1] + 1
x_ctr = anchor[0] + 0.5 * (w - 1)
y_ctr = anchor[1] + 0.5 * (h - 1)
return w, h, x_ctr, y_ctr
#===================================
# 函数输入：一组宽和一组高，以及中心点
# 函数输出：其中一组是四个值，分别是这个anchor的左下角右上角的坐标
#===================================
# 给定一组对于中心点(x_ctr, y_ctr)的w和h的向量，生成一系列的anchors
# np.newaxis相当于增加一维，比如ws.shape是(3,)经过处理后变成(3, 1)
# 之所以要对长度和宽度进行-1是因为长度宽度里面同样保存着中心点，所以要减1
def _mkanchors(ws, hs, x_ctr, y_ctr):
"""
Given a vector of widths (ws) and heights (hs) around a center
(x_ctr, y_ctr), output a set of anchors (windows).
"""
ws = ws[:, np.newaxis]
hs = hs[:, np.newaxis]
anchors = np.hstack((x_ctr - 0.5 * (ws - 1),
y_ctr - 0.5 * (hs - 1),
x_ctr + 0.5 * (ws - 1),
y_ctr + 0.5 * (hs - 1)))
return anchors
#==========================================
# 函数输入：一个scale相同的anchor，以及一系列横纵比
# 函数输出：这个相同scale不同ratio的anchors左下角右上角的坐标们
#==========================================
# 这是一个迭代器，主要迭代每一个anchor的长宽比
# 使用_whctrs这个函数计算出一个anchor的宽，高以及中心点坐标
# size计算了面积，比如w=8, h=4 size=32
# 如果radio是[0.5, 1, 2] size_ratios=64, 32, 16
# np.round是四舍五入的函数
# 设宽是x那么高就是radio*x,面积是radio*x^2,所以size/radio就是w的平方，于是就可以求出w和h
# 这里面对于一种scale的anchor只是横纵比不同,面积是相同的
# 然后再通过_mkanchors计算出这一系列anchor的左下角右上角坐标
def _ratio_enum(anchor, ratios):
"""
Enumerate a set of anchors for each aspect ratio wrt an anchor.
"""
w, h, x_ctr, y_ctr = _whctrs(anchor)
size = w * h
size_ratios = size / ratios
ws = np.round(np.sqrt(size_ratios))
hs = np.round(ws * ratios)
anchors = _mkanchors(ws, hs, x_ctr, y_ctr)
return anchors
#=============================================
# 函数输入：一个anchor以及scales的大小
# 函数输入：经过这一系列scale输出的一系列anchor的左下角右上角坐标
#=============================================
# 这个就和上面的一样，上面是对ratio进行迭代，这个是对scales进行迭代
# 和上面一样，先计算w,h,中心点x, y
# 比如scale是[8, 16, 32]
# w h如果是4，那么返回的wh就是32，64, 128，这样就根据中心点生成了这三种scale
def _scale_enum(anchor, scales):
"""
Enumerate a set of anchors for each scale wrt an anchor.
"""
w, h, x_ctr, y_ctr = _whctrs(anchor)
ws = w * scales
hs = h * scales
anchors = _mkanchors(ws, hs, x_ctr, y_ctr)
return anchors
# 这里是整个文件的主函数
# 计算了一下生成9个anchor所需要的时间
# 然后打印了一下生成的9个标准框的左下角右上角的坐标
if __name__ == '__main__':
import time
t = time.time()
a = generate_anchors()
print(time.time() - t)
print(a)
from IPython import embed; embed()
运行结果如下：
总结一下，这一个代码主要是根据一个base_anchor[0, 0, 15, 15]来生成9个ratio为[0.5, 1, 2] scale为[8, 16, 32]标准anchors
扫一扫
9271
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
