m0_58702532的博客

[TANet]Three-stream attention-aware network for RGB-D salient object detectionIEEE TRANSACTIONS ON IMAGE PROCESSING, VOL. 28, NO. 6, JUNE 2019以往基于卷积神经网络的RGB-D融合系统通常采用双流结构，其中RGB和深度输入是独立学习的。多模态融合阶段通常通过在推理过程中连接每个流的深度特征来执行。由于以下两个局限性，传统的双流体系结构可能会经历不...

显着物体检测 (SOD) 旨在检测人类视觉中最突出的物体和区域。由于RGB和深度模态包含不同的特征并传达了不同领域的线索，因此如何探索 多模态信息的融合 和 跨阶段特征的相互作用 仍然是rgb-d SOD的关键问题。在这篇文章中，我们提出了一个 跨阶段多尺度交互网络 (CMINet) ，由 多尺度空间池 (MSP) 模块 和 跨阶段金字塔交互 (CPI) 模块 组成，以自下而上和自上而下的方式交织不同阶段的特征图。

1. 动机1) 用于监督学习的像素级注释既昂贵又耗时。2) 与RGB图像相比，成对的rgb-d图像更难以收集。2. 解决方法提出 Dual-Semi RGB-D Salient Object Detection Network（DS-Net），利用没有标记的RGB图像来增强 RGB-D 显著性检测。第一步：设计了一个depth decoupling convolutional neural network (DDCNN)，包含两个分，depth estimation branch and a

如何将RGB和Depth充分挖掘和融合仍是一个关键问题。第一个问题是如何从中充分，从而可以可靠地反映场景的空间结构。第二个问题是如何有效地外观信息和几何信息，即有效的，其中RGB图像和深度图的内在属性存在很大差异。提出FANet,主要包括两个部分1. 特征提取模块（非对称架构）2. 特征聚合模块（主要特点），由两部分组成：REM（区域增强模块），HFM（分层融合模块）REM（区域增强模块）：用于区分显著和HFM（分层融合模块）：用于逐步整合和。

RGB-D SOD 通常被视为单独的视觉任务。大多数的RGB-D SOD 直接从骨干中提取和融合原始特征。

大致的流程就是骨干网络提取特征，进行跨模态融合，通道统一，尺度统一，再送到transformer这个好东西里面，最后把一直没用过的第一层特征引到中高层特征里面去解码。httpshttpshttpshttpshttpshttpshttpshttpshttpshttpshttpshttpshttpshttpshttpshttpshttps。.........

CCAFNet: Crossflow and Cross-scale Adaptive Fusion Network for Detecting Salient Objects inRGB-D ImagesCCAFNet：用于检测 RGB-D 图像中显着对象的交叉流和跨尺度自适应融合网络现有的 SOD 模型主要利用 RGB 图像及其在三个融合域中的相应深度信息之间的关系：输入 RGB-D 图像、提取的特征图和输出显着对象。然而，这些模型并没有很好地利用高级和低级信息之间的交叉流动。此外，这些模型中的解码器

Deep RGB-D Saliency Detection with Depth-Sensitive Attention andAutomatic Multi-Modal Fusion深度敏感注意和自动多模态融合的深度 RGB-D 显着性检测CVPR2021RGB-D 显着目标检测 (SOD) 通常被表述为对两种模式（即 RGB 和深度）的分类或回归问题。 因此，有效的 RGBD 特征建模和多模态特征融合在 RGB-D SOD 中都起着至关重要的作用。提出了一种使用显著对象的深度几何先验的深度敏感 RGB

卷积神经网络 (CNN) 擅长在某些感受野内提取上下文特征，而Transformer可以对全局远程依赖特征进行建模。Swin Transformer ，吸收了 CNN 的局部优势和 Transformer 的远程依赖优点。在以上基础上，作者提出了一种用于 RGB-D 和 RGB-T 显著目标检测的跨模态融合模型 SwinNet。它是由Swin Transformer提取分层特性,使用通道注意力和空间注意力推动以弥合两种模态之间的差距，并由边缘信息引导以锐化显着对象的轮廓。具体而言，双流S...

Dynamic Selective Network for RGB-D Salient Object Detection用于 RGB-D 显着目标检测的动态选择网络IEEE TRANSACTIONS ON IMAGE PROCESSING, VOL. 30, 2021通过各种融合策略来整合RGB图像和深度图。忽略了两种模式之间的固有差异，这导致在处理一些具有挑战性的场景时性能下降。动态选择网络 (DSNet)，通过充分利用两种模态之间的互补性来执行rgb-d图像中的显着目标检测 (SOD)。1. 部署一个跨

神经网络计算成本高提出了一种隐式深度恢复（IDR）技术来增强移动网络对 RGB-D SOD 的特征表示能力。 IDR 只在训练阶段采用，在测试时省略，因此计算上是免费的。提出了紧凑的金字塔细化（CPR），用于有效的多级特征聚合，以导出具有清晰边界的显着对象。使用 RGB 和 depth 流进行单独的特征提取。RGB 流：采用 MobileNetV2 作为骨干网络，五个阶段的输出特征图表示为 C1、C2、C3、C4、C5depth 流：与 RGB 流类似，深度流也有五个步幅相同的阶段。 由于深度图包含的语义信

Employing Bilinear Fusion and Saliency Prior Information for RGB-D Salient Object Detection使用双线性融合和显著性先验信息进行 RGB-D 显著目标检测IEEE TMM 2021 大多数现有模型采用线性融合策略（例如，连接）进行多模态特征融合，并使用简单的从粗到细的结构进行显着性推理。尽管它们很简单，但它们既不能完全捕获跨模态互补信息，也不能利用不同层次的跨模态特征之间的多层次互补信息。1 ） 提出了一个多模态特征交互

Hierarchical Alternate Interaction Network for RGB-D Salient Object Detection用于 RGB-D 显着目标检测的分层交替交互网络因为深度图在采集过程中质量有好有差减轻深度图的干扰，突出显著对象分层交替交互网络 (HAINet)HAINet 的主要创新是分层交替交互模块（HAIM）HAIM首先使用RGB特征过滤深度特征中的干扰物，然后利用纯化的深度特征依次增强RGB特征HAINet 由特征编码、跨模态交替交互和显着性推理组成，骨干网络为

resnet50

显著目标检测是一项像素级的密集预测任务，可以突出场景中的显著目标。近年来，U-Net框架得到了广泛的应用，连续的卷积和池操作产生了相互补充的多层次特征。鉴于高级功能对性能的贡献更大，我们提出了一个三重变压器嵌入模块，通过学习跨层的远程依赖来增强它们。这是第一个使用三个具有共享权重的变压器编码器来增强多级功能的编码器。通过进一步设计比例调整模块来处理输入，设计三流解码器来处理输出，并将深度特征附加到颜色特征以进行多模融合，所提出的三重变压器嵌入网络（TriTransNet）在RGB-D突出目标检测方面达到了最

Depth Quality-Inspired Feature Manipulation for Efficient RGB-D Salient Object Detection用于高效 RGB-D 显著目标检测的深度质量启发特征操作Motivation1. 现有的 RGB-D SOD 模型在效率和准确性方面往往表现不佳2. 一个潜在的挑战是，当模型被简化为只有很少的参数时，模型的准确性通常会降低。Solution启发：深度质量是影响精度的关键因素1. depth quality-

Bifurcated Backbone Strategy for RGB-D Salient Object DetectionRGB-D显著目标检测的分叉主干策略ECCV2020Motivation当多级特征遇到多模态线索时，很难去聚合最优特征 和 学习多模态策略Solution作者利用 RGB D 显著对象检测固有的多模态和多级特性来设计一种新颖的级联细化网络。分叉主干策略（BBS）将多级特征重新组合为教师和学生特征。其次，我们引入了深度增强模块 (DEM)，以从通道和空间视图

Motivation1. 现有的rgb-d SOD模型容易忽略特定于模态的特征，并通过简单的逐元素加法或乘法来融合多模态特征。因此，当遇到不准确或模糊的深度图像时，显著图的质量可能会因此而降低。2. 此外，许多模型采用U形架构，逐层集成多层次特征。尽管低级别特征可以逐渐完善，但对高级特征的增强却很少关注，这可能会导致次优结果。Solutiona novel network named CFIDNet具体来说，作者设计了feature-enhanced module，从深度图像中挖掘出信息

RGB-D Salient Object Detection with Cross-Modality Modulation and Selection具有跨模态调制和选择的 RGB-D 显着目标检测一、Motivationtwo challenge：1）如何有效地整合来自 RGB 图像及其对应的深度图的互补信息；2）如何自适应地选择更多与显着性相关的特征。二、Solutions(1) cross-modality feature modulation (cmFM) 模块，通过

Cross-Modal Weighting Network for RGB-D Salient Object Detection用于RGB-D显著性目标检测的跨模态加权网络深度图包含辅助显著目标检测（SOD）的几何线索。在本文中，我们提出了一种新的跨模态加权（CMW）策略，以鼓励RGB-D SOD的RGB和深度通道之间的全面交互。具体来说，我们开发了三个RGB深度交互模块，即CMW-L、CMW-M和CMW-H，分别用于处理低、中、高级别的跨模态信息融合。这些模块使用深度到RGB权重（...

Select, Supplement and Focus for RGB-D Saliency Detection摘要深度图或单个物体边缘的任意分布的错误或者区域的缺失会对RGBD显著性检测产生负面影响。作者提出了一种新的RGB-D显著性检测框架，该框架考虑了两种模式（RGB和深度信息）的全局位置和局部细节互补性。(CIM) 互补交互模块从 RGB 和深度数据中有区别地选择有用的表示，并有效地集成跨模态特征。融合的特征可以准确定位具有精细边缘细节的显著对象。还提出了一种补偿感知损失(co

总体框架三个流的主干网络采用VGG16，去除全连接层，保留5个卷积块。作者添加了一个具有 15×15 的新卷积层，用于全局上下文推理，作为第 6 个卷积块。提出的rgb-d SOD系统包含三个自下而上的流，即RGB特定流，深度特定流和交叉模态的蒸馏流，分别在每个级别中提取模态特定的和新的rgb-d表示。对于特定于深度的流，我们将单通道深度图编码为 3 通道 HHA 表示（即水平视差、离地高度以及局部表面法线与推断的重力方向的角度）为 输入。HHA 编码比原始深度图携带更多几何线索（例如，表面法线和高..

​​​​​ICNet：用于基于 RGB-D 的显著性目标检测的信息转换网络存在的问题之前的融合策略：在输入图像、提取特征和输出结果三个融合域中利用RGB图像和深度图之间的相关correlation性。以上融合策略不能完全捕捉RGB图像和深度图之间的复杂相关性。 没有充分挖掘信息的跨模态互补性和跨层次连续性 没有区别对待不同来源的信息。解决问题的方法信息转换模块（ICM）：以交互式和自适应的方式融合高级RGB和深度特征，它包含级联操作concatenation operati

DPANet：用于 RGB-D 显著性目标检测的深度潜能感知门控注意网络存在的问题1）如何防止不可靠的深度信息造成的污染； 2）如何有效地整合来自RGB图像的多模态信息和对应的深度图。解决问题的方法提出计算深度图潜力的概念设计一个门机制权重^g 去控制引入深度图的比率，从而去过滤深度图所带来的冗余信息设计一个权重 α 去判断跨模态特征中的每通道所对应的重要程度注意，和都是通过监督学习过程计算得到。网络架...

存在的两问题在使用双流架构时，处理深度数据的子网络会产生额外计算成本和内存消耗 在测试期间使用深度数据可能会阻碍RGB-D显著性检测的实际应用解决问题的方法提出深度蒸馏器A2dele，使用网络预测和网络注意力作为两个桥梁连接 RGB 和深度模态，将深度知识从深度流传输到RGB流首先，通过自适应地最小化深度流和 RGB 流生成的预测之间的差异，我们实现了对传输到 RGB 流的像素级深度知识的期望控制。 其次，为了将定位知识转移到 RGB 特征，我们鼓励深度流的扩张预测与 RGB 流的注意力图

一种基于联合学习和密集协作融合的RGB-D显著性检测方法现有的模型使用RGB和深度信息作为单独的信息，并设计分离的网络对个自的特征进行提取，这类模型很容易受到有限的训练数据且过度依赖于精心设计的训练过程。相反地，作者提出了一种基于孪生网络（Siamese Network）的框架，并设计联合学习（JL）和密集协作融合（DCF）模块，JL模块提供强大的显著性特征学习，而后者则用于补充特征发现。用于解决RGB-D显著性目标检测任务。实验结果证明JL-DCF检测器具有更加鲁棒的性能，相对于第一名模型D3Net，

动机在现实世界人类活动场景中使用 RGB-D 对 SOD 建模的努力相对较少。 作者认为，并非深度图中的所有信息都能为 SOD提供信息，低质量的深度图通常会引入显著的噪声。

RGBD Salient Object Detection via DisentangledCross-Modal FusionIEEE TRANSACTIONS ON IMAGE PROCESSING, VOL. 29, 2020深度对于显着目标检测 (SOD) 具有其他显着性提示是有益的。 现有的RGB-D SOD方法侧重于剪裁复杂的跨模态融合拓扑，虽然取得了很好的性能，但在研究跨模态互补性时存在过拟合和不确定的风险。 与这些完全结合跨模态特征而不区分的传统方法不同，我们...

【PDP】RGB-‘D’ Saliency Detection With Pseudo DepthIEEE TRANSACTIONS ON IMAGE PROCESSING, VOL. 28, NO. 5, MAY 2019动机显著性目标检测还是以RGB图为主 人脑可以从仅 RGB 的图中提取场景的几何模型，提供场景的 3D 感知（脑补）措施RGB-'D' ：从 单个RGB 图像中估计伪深度（与人类感知一致）作为补充信息来辅助显著性检测注意：其实所谓的伪深度就是单目深度估计

一、动机低级 RGB 特征可以帮助深度特征区分同一深度级别的不同对象实例，而高级深度特征可以进一步丰富 RGB 语义并抑制背景干扰。 为了充分发挥每种模态的优势，同时利用另一种模态来弥补自身，避免造成干扰。解决特征编码器中的跨模态交互问题提出了一种跨模态差异交互网络，根据不同层的特征表示，在编码器阶段对两种模态的依赖性进行差异建模，有选择地利用RGB特征补充深度分支的细节，并将深度特征转移到RGB模态中，以丰富语义表示。（两种模式各有长处，根据它们的作用设计一种差异化的 RGB-D SO..