Contrast Prior and Fluid Pyramid Integration for RGBD Salient Object Detection学习笔记

本文链接：https://blog.youkuaiyun.com/choucdaf/article/details/108529847

这篇博客探讨了在RGBD显著对象检测中遇到的问题，如RGB和深度信息的融合难题。提出了解决方案，包括使用对比先验提升深度信息质量，以及通过流体金字塔融合解决特征兼容性问题。文中详细介绍了对比增强网络和流体金字塔网络的工作原理，以VGG-16为基础的CPFP模型通过多层融合增强了RGBD特征的表达能力。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

知识储备

RGB-D（深度图像）

深度图像 = 普通的RGB三通道彩色图像 + Depth Map
Depth Map（深度图）是包含与视点的场景对象的表面的距离有关的信息的图像或图像通道。其中，Depth Map 类似于灰度图像，只是它的每个像素值是传感器距离物体的实际距离。通常RGB图像和Depth图像是配准的，因而像素点之间具有一对一的对应关系。
图像深度
图像深度是指存储每个像素所用的位数，也用于量度图像的色彩分辨率。

图像深度确定彩色图像的每个像素可能有的颜色数，或者确定灰度图像的每个像素可能有的灰度级数。它决定了彩色图像中可出现的最多颜色数，或灰度图像中的最大灰度等级。比如一幅单色图像,若每个像素有8位，则最大灰度数目为2的8次方，即256。一幅彩色图像RGB三通道的像素位数分别为4,4,2，则最大颜色数目为2的4+4+2次方，即1024，就是说像素的深度为10位，每个像素可以是1024种颜色中的一种。
**

目前遇到的问题

1.现有的基于SOD的CNN网络主要用于处理RGB图像，当目标和背景拥有相似的外观时容易分辨不清。
2.如何有效的利用深度信息，尤其在深度神经网络方面仍然有很多未被探索。
3.现有的RGBD通过简单的串联将RGB和深度特征进行融合，不管是在前期中期还是后期。这种直接的交叉融合会产生两个问题：
1）缺乏高质量的Depth maps，相比于RGB图像产生更多噪音并且结构不清。缺少良好的pre-trained网络从depth maps提取特征。
2）RGB图像和深度图像存在内在差异，当仅仅使用简单融合会产生不兼容问题。