RGBD Salient Object Detection via Disentangled Cross-Modal Fusion

RGBD Salient Object Detection via Disentangled

Cross-Modal Fusion

IEEE TRANSACTIONS ON IMAGE PROCESSING, VOL. 29, 2020

        深度对于显着目标检测 (SOD) 具有其他显着性提示是有益的。 现有的RGB-D SOD方法侧重于剪裁复杂的跨模态融合拓扑，虽然取得了很好的性能，但在研究跨模态互补性时存在过拟合和不确定的风险。 与这些完全结合跨模态特征而不区分的传统方法不同，我们将注意力集中在解耦(decoupling)不同的跨模态互补以简化融合过程并增强融合充分性。 我们认为，如果可以明确地分离跨模态异构表示，则跨模态融合过程可以保持更少的不确定性，同时具有更好的适应性。 为此，我们设计了一个分离的跨模态融合网络，通过跨模态重建暴露两种模态的结构和内容表示。 对于不同的场景，分离的表示允许融合模块轻松识别和合并所需的补充信息，以进行信息多模态融合。