【论文】Learning RoI Transformer for Oriented Object Detection in Aerial Images

RoI Transformer: 将空间转换应用在RoIs上，并通过标注旋转框，监督学习得到转换参数。

RoI Transformer是轻量级的。

一、Introduction

（1） 水平框检测会造成边界框和目标的不一致性，尤其是当目标密集分布时。

（2）由于航空影像目标方向的多样性，使用有限方向的RRoIs很难与所有的目标都正确匹配，并且多方向的RRoIs还会造成计算的高度复杂性。

（3）空间变换、形变卷积和RoI池化常被用来处理几何变形，并且不涉及标注的旋转边界框。

（4）在航空影像中，提取具有旋转不变性的区域特征，对于消除区域特征和目标的不匹配问题是非常重要的。

（5）本研究的主要内容：

• 提出了RoI Transformer的模块结构，通过标注RRoI的监督学习和基于位置敏感对齐的特征提取，旨在利用双阶段框架实现密集旋转目标的检测。

• RRoI learner: 学习从HRoIs到RRoIs的转化
• 旋转位置敏感的RoI Align: 从RRoI中提取位置不变性特征用于后续分类和回归。

（6）本研究的主要成果：

• 提出了一个旋转RoI的监督学习器，可以将HRoIs转化到RRoIs。
• 设计了一个旋转位置敏感的RoI Align模块用于空间不变性特征提取，可以保证高效率和低复杂度。
• 在多个大型数据集上进行了旋转目标检测的测试，验证了RoI Transformer的有效性。

二、RoI Transformer

• RRoI learner：位置敏感的RoI Align连接着一个五维的全连接层组成，用于HRoIs和地面真实旋转框的偏差回归。
• RoI wrapping：对旋转区域的特征进行变形，是指具有旋转不变性。

1. RRoI Learner

• 目的：从HRoIs的特征图上学习到旋转的RRoIs。
• 方法：考虑到每个HHRoI是RRoI的外接矩形，可以使用全连接层从特征图Fi中推断出RRoIs的几何表示。
• 回归目标：

 

其中，(xr, yr, wr,hr, θr）表示RRoI，(x*, y*, w*, h*, θ*）表示地面标注RRoI。并且需要将全局坐标系转化为局部坐标系。h为短边，w为长边，到h的旋转角在 [0,Π) 之间。

采用Smooth L1作为回归的损失函数，获得从HRoI到RRoI的参数。

2. RRoI Warping

• 输入：尺寸为（H，W，K×K×C）的特征图D，RRoI（xr, yr, wr,hr, θr）
• 输出：RRoI被RPS RoI Align分割成K×K块，并输出大小为（K×K×C）的特征图y

3. RoI Transformer for Oriented Object Detection

• RRoI earner和RRoI Warping构成了RoI Transformer(RT)，可以被用来取代普通的RoI wraping 操作
• Polygons之间的IoU计算：RRoI和RGT面积的交并比，IoU大于0.5，则认为是True Positive。

• 回归计算目标：采用相对偏差，即将坐标系统与RRoI绑定，而不是针对图像进行偏移计算