SwinNet: Swin Transformer drives edge-aware RGB-D and RGB-T salient object detection

SwinNet：Swin Transformer 驱动边缘感知 RGB-D 和 RGB-T 显着目标检测

IEEE Transactions on Circuits and Systems for Video Technology2021

---

一 动机

卷积神经网络 (CNN) 擅长在某些感受野内提取上下文特征，而Transformer可以对全局远程依赖特征进行建模。Swin Transformer ，吸收了 CNN 的局部优势和 Transformer 的远程依赖优点

二 方法

在以上基础上，作者提出了一种用于 RGB-D 和 RGB-T 显著目标检测的跨模态融合模型 SwinNet。

它是由Swin Transformer提取分层特性,使用通道注意力和空间注意力推动以弥合两种模态之间的差距，并由边缘信息引导以锐化显着对象的轮廓。

具体而言，双流Swin Transformer编码器首先提取多模态特征，然后提出空间对齐和通道重新校准模块以优化层内跨模态特征。 为了明确模糊边界，边缘引导解码器在边缘特征的引导下实现了层间跨模态融合。

三 网络框架

总体框架一个有4个模块：（1）双流主干；（2）通道对齐和空间校准模块；（3）边缘感知模块；（4）边缘引导解码器