Object detection with location-aware deformable convolution and backward attention filtering

CVPR19

动机：对multi-scale目标检测来说， context information和high-resolution的特征是很重要的。但是context information一般是不规则分布的，高分辨率特征也往往包含一些干扰的low-level信息。 为了解决这两个问题， 文章提出两个模块： location-aware deformable convolution 和 backward attention filtering。 前者提取不规则分布的context 信息，相对于一般的deformable convolution不同的是， offset estimation是通过在每个采样点用各自不同的卷积层来得到的， 这样每个点有各自不同的感受野， offset估计的更好； backward attention filtering则是用网络中semantic特征做attention map, 突出高分辨率特征中重要的信息， 压制干扰信息。

网络架构:

 以faster rcnn为baseline， RPN提取ROIs后， 每一个ROI都在backward pass产生的三个特征图上做ROI pooling, 这里使用skip pooling。三个特征同时进行， 最后FC层结束， 特征融合， 进行classification和regression。

location-aware deformable convolution：

这里举了3*3膨胀卷积， dilation size=2的例子。

至于context embeding module就是把上面介绍的location-aware deformable convolution融入如下模块：

两条支路， 上面是标准卷积， 下面是提出的卷积。

backward attention filtering module:

这个设计很类似FPN，只不过这里得semantic feature和T做的点乘， 当成了attention map来用。

小结： 感觉这个新的可变形卷积有点意思，对于收集感受野内不规则分布目标得特征会有帮助； 此外这个attention机制可以尝试。