33、计算机视觉中的创新技术：MVSalNet与k-means Mask Transformer

计算机视觉中的创新技术：MVSalNet与k-means Mask Transformer

在计算机视觉领域，RGB - D显著目标检测（SOD）和图像分割任务一直是研究的热点。本文将介绍两种创新的技术方案，分别是用于RGB - D显著目标检测的MVSalNet，以及用于图像分割的k - means Mask Transformer（kMaX - DeepLab）。

1. MVSalNet：多视图增强的RGB - D显著目标检测

传统的RGB - D显著目标检测方法通常将输入的深度图作为低级线索使用。而MVSalNet提出了一种全新的框架，旨在充分利用深度图中包含的3D几何信息。

• 核心思路 ：不再把深度图仅作为低级线索，而是从多个不同的视图渲染输入图像，将显著目标检测从单静态图像的设置转变为多视图设置。
• 网络设计 ：设计了一个多视图显著检测网络（MVSalNet），该网络为每个单独的视图独立执行显著目标检测，并融合多个视图的输出以获得最终预测。

通过在6个基准数据集上的实验，MVSalNet显著优于现有的RGB - D显著目标检测方法，证明了该方法的有效性。

下面是MVSalNet的工作流程：
1. 多视图渲染 ：对输入的RGB - D图像从多个不同视角进行渲染，得到多个不同视图的图像。
2. 独立检测 ：MVSalNet对每个视图的图像独立进行显著目标检测，得到每个视图的显著图。
3. 结果