20、基于3D形状先验的2D无模态实例分割

基于3D形状先验的2D无模态实例分割

在计算机视觉领域，实例分割是一项重要的任务，而无模态实例分割（Amodal Instance Segmentation，AIS）更是其中具有挑战性的子任务。它旨在预测被遮挡实例的完整掩码，包括可见和不可见区域。传统的2D AIS方法在处理新视角时存在局限性，本文将介绍一种基于3D形状先验的方法来解决这些问题。

1. 无模态实例分割概述

• 与可见实例分割的区别 ：可见实例分割（VIS）仅预测每个实例的可见区域，而AIS需要预测可见和被遮挡部分，这使得AIS任务更具挑战性。
• 应用场景 ：AIS具有广泛的潜在应用，如自动驾驶、市场自动结账和图像编辑等。
• 现有方法 ：大多数现有AIS方法基于可见实例分割方法，直接最小化无模态预测与真实掩码之间的差异。近年来，一些方法开始考虑无模态问题的特性，如利用实例的相对深度顺序来理解场景，以及提出弱监督方法等。

2. 形状先验知识的应用

• 2D形状先验字典方法（ShapeDict） ：2020年提出的ShapeDict方法利用2D形状先验知识处理无模态分割问题。它通过对训练集中的真实2D无模态掩码应用K-means算法建立2D形状先验字典（SPD），并将聚类中心作为形状先验。在推理时，从SPD中检索与预测可见掩码最接近的形状先验用于无模态分割。然而，这种最近邻搜索方法仅适用于训练中见过的无模态掩码，对于未见过的掩码可能会检索到不适当的形状先验，导致错误的分