《Deformable part-based fully convolutional network for object detection》笔记

Introduction

该论文参照传统目标检测方法DPM，在基于R-FCN的基础上，给网络添加了检测目标的部分形变的功能。把目标分成$k\times k$个网格部分，考虑到目标的各个部分在不同的场景下可能会发生形变或位置偏移，DP-FCN在R-FCN的结构上添加检测目标部分偏移量的额外结构。在网络中加入额外的目标形状位置信息，提高网络的目标检测的精度。

Deformable part-based fully convolutional Networks

DP-FCN分成3个部分，一个全卷积网络(a fully convolutional network)，用来提取特征；一个可变形的基于部分的RoI池化层(a deformable part-based RoI pooling layer)，在R-FCN的基础上，根据预测出来的偏移量对齐目标RoI的各个部分；一个变形感知的本地化模块(a deformation-aware localization module)，对最后的预测位置进行微调。

Fully convolutional network

全卷积网络就不多说了:)。

Deformable part-based RoI pooling layer

在全卷积网络的最后一层feature map，每个channel（Detection map）对应一个类别的RoI上一个位置，表示该目标对应部分的信息。从detection map的对应位置上进行average pooling作为RoI对应位置的值。考虑目标会发生形变，目标的这一部分可能偏移了初始位置，因此，从detection map中寻找average pooling后响应值最大的部分。为了保持目标的整体性，目标的这一部分不能有太大的位置，因此我们引入形变代价（deformation cost），部分的偏移位置离初始位置越远，形变代价越大。综合detection map 和 deformation cost，利用下面的式子求出部分的偏移量