RGB-D Salient Object Detection with Cross-Modality Modulation and Selection学习笔记

**

一、本文要解决的问题

---

1.有效的整合RGB图像和其对应的深度图的互补信息。
2.选择显著性特征。**
**

二、解决方案

**
1.通过深度特征优先创建交叉调节特征（cmFM)模型提高特征表现。
2.用可适应的特征选择（AFS）选择显著性特征，并且抑制次级特征。
3.用显著性引导位置边缘注意模组（sg-PEA）提高注意。

将特征调节机制和注意力机制想配合。
**

三、新的技术

**

1.cmFM

cmFM是一个以深度特征先验的模型，它从深度图中学习传输参数并用得到的参数去调节对应的RGB图像以获得其显著性特征。深度图将会传入两个卷积块中，分别获得其权重和偏移量，但是后续实验表明该模块达到的效果并不如cmFA模块，这个模块不是cmMS模型的核心。
2.AFS

该模型引入了注意力机制，目的就是在训练学习中分配更多的权重给需要检测的目标。AFS模型由空间选择和信道选择组成。将RGB、深度、上卷积和经过cmFs调节输出的特征信息等特征信息先传入SE-NET中，经过SE-Net的Squeeze和Excitation操作后获得各个特征信息的需要激励的重要特征。然而单纯的使用SE-NET还不能获得各个特征图像之间的关联性。我们选择将这些特征信息各自传入一个卷积块中提取特征并将他们串联后再次将他们送入一个SE-NET中，再经过一个卷积层后就获得了信道注意力特征。
接下来进行空间选择，将多模态信息融合在一起进行特征提取获取各自的置信图，然后将置信图和多模态特征做叉乘后送入一个卷积层，将输出后的信息与信道选择输出的信息融合获得显著性相关特征。
3.sg-PEA
sg-PEA由两个单元组成， saliency map prediction (S-Pre)和 a saliency edge prediction
(E-Pre)，在这两个模块中分别用到了位置注意和边缘注意，以达到加快收敛和减轻边缘模糊。
，在S-Pre用一种监督学习的方式预测显著图。位置注意力可以通过读取高层的显著属性来提高本层的显著性信息。