【论文阅读】【IEEE TGARS】RRNet: Relational Reasoning Network WithParallel Multiscale Attention for Salient

引言

任务：光学遥感显著目标检测-关系推理

论文地址：

RRNet: Relational Reasoning Network With Parallel Multiscale Attention for Salient Object Detection in Optical Remote Sensing Images | IEEE Journals & Magazine | IEEE Xplore

代码地址：

rmcong/RRNet_TGRS2021 (github.com)

前置知识

光学遥感图像显著目标检测（rsi-SOD）

本文中光学rsi指机载或卫星源采集的400 - 760nm范围内的彩色图像。

一、摘要

光学遥感图像显著目标检测（SOD）旨在定位和提取图像中视觉上显著的对象/区域。由于光学遥感图像存在复杂背景和尺度变化的目标等固有问题，一些显著性模型虽然被提出，但准确性和完整性仍待提高。

本文提出了一种关系推理网络（RRNet），结合了并行多尺度注意力（PMA）机制，用于光学遥感图像的显著目标检测。

二、面临的挑战

1.对象数量和规模方面存在挑战。显著性物体多。

鸟瞰图使光学rsi中的物体呈现出大规模的变化，从占据几个像素的汽车到贯穿整个图像的河流。由于成像采集高度的不同，即使属于同一类别的物体也可能有不同的尺度。

此外，与手持相机捕获的nsi不同，光学rsi采集过程采用了大范围的类似扫描的方式，这导致显著目标的位置几乎是随机的，从而使传统的中心先验失效。

2.复杂背景和成像干扰的挑战。

室外顶置成像方式和较宽的成像范围使得光学rsi往往包含更复杂的背景。此外，其他环境因素，如天气条件、光照强度和拍摄时间，可能会造成各种不可预测的干扰，表现为阴影、过度曝光、外观变化和形状扭曲。

待解决问题

现有方法存在显著目标检测缺失和不完整的问题。

我们尝试在高级编码器阶段嵌入一个关系推理模块，对图上不同对象或对象的不同部分的语义关系进行建模。利用图结构的表示能力，我们设计的关系推理机制不仅可以构建各个空间区域之间的约束关系，还可以对通道维度的语义关系进行推理，从而获得更全面、更深入的内部建模关系。

包含抽象语义信息的高级特征适合进行关系推理以实现完整的检测，而低级特征具有更高的空间分辨率和更详细的信息（如边界），可以补充解码过程以实现细节恢复。然而，考虑到不同尺寸的物体在高空间分辨率下容易被检测到，直接使用粗糙的低层特征可能会造成额外的冗余干扰。

我们提出了一种并行多尺度注意（PMA）机制，该机制可以在恢复低层细节的同时抑制不重要的特征。在现有编码器-解码器网络的解码器阶段，丢失的细节不仅难以通过一系列反褶积层恢复，而且还会被上采样操作粗化，如图1第三行中的平面。

因此，我们以两种并行的方式通过多个接受域来处理低级特征。在此基础上，将低层次特征细化为二维注意图，