RGB-D Salient Object Detection with Cross-Modality Modulation and Selection

RGB-D Salient Object Detection with Cross-Modality Modulation and Selection

具有跨模态调制和选择的 RGB-D 显着目标检测

一、Motivation

two challenge：

1）如何有效地整合来自 RGB 图像及其对应的深度图的互补信息；

2）如何自适应地选择更多与显着性相关的特征。

二、Solutions

(1) cross-modality feature modulation (cmFM) 模块，通过将深度特征作为先验来增强RGB特征表示，所提出的调制设计通过特征转换实现了多模态信息的有效整合。

(2) adaptive feature selection (AFS) 模块，选择与显着性相关的特征并抑制劣质特征。 该模块突出了不同通道特征在自模态和跨模态中的重要性，同时以门控方式融合了多模态空间特征。

(3) saliency-guided position-edge attention (sg-PEA) 模块，强调与显着性相关的位置和边缘，该模块从预测的显着性图和显着性边缘图中收集其注意力权重。

上述模块作为一个整体，称为 cmMS 块，有助于以粗到细的方式细化显着性特征。再加上自下而上的推理，