21、基于 3D 形状先验的 2D 无模态实例分割方法研究

基于 3D 形状先验的 2D 无模态实例分割方法研究

1. 模块架构与损失函数

1.1 模块架构

采用 3 个重复的 conv - bn - relu 层作为模块架构，卷积核大小为 3。该模块将粗 2D 无模态掩码 $\hat{M}_a^i$、2D 无模态图像区域 $I_a^i$ 和可见掩码 $M_v^i$ 的拼接作为输入，并使用可见掩码 $M_v^i$ 辅助损失函数，该损失函数旨在对可见边缘进行更多惩罚，对遮挡边缘进行较少惩罚。

1.2 损失函数

1.2.1 3D 建模损失函数

为摆脱对昂贵 3D 模型标注的依赖，选择无监督 3D 重建方法，无需 3D 模型作为监督信号。同时训练特定类别 3D 建模模块和特定区域边缘细化模块，因为只有真实 2D 无模态掩码 $M_a^i$ 可用于监督。损失函数设计为鼓励预测的粗无模态掩码 $\hat{M} a^i$ 接近 $M_a^i$，从而间接监督重建的 3D 形状先验模型 $O_r^i$ 的质量。无监督 3D 重建的损失函数为：
$L_R = \frac{1}{N} \sum {i=1}^{N} (1 - IoU(\hat{M}_a^i, M_a^i))$
其中，$IoU$ 计算预测的粗无模态掩码 $\hat{M}_a^i$ 与真实无模态掩码 $M_a^i$ 之间的交并比。

1.2.2 边缘细化损失函数

在特定区域边缘细化模块中，特定区域无模态边缘细化模块的损失函数设计如下：
$L_E = \frac{1}{N} \sum_{i=1}^{N} (\sum_{p \in S_i} L_B(\til