25、基于密集对应关系的弱标注图像数据集联合推理

基于密集对应关系的弱标注图像数据集联合推理

在计算机视觉领域，处理弱标注图像数据集是一项具有挑战性的任务。本文将介绍一种利用密集对应关系进行联合推理的方法，该方法可应用于语义标注、对象发现和分割等多个计算机视觉任务。

1. 联合推理模型

联合推理模型通过考虑图像内和图像间的像素对应关系，对像素标签进行推理。该模型的目标函数包含了似然项和正则化项，具体如下：
- 似然项 ：通过图像标签和像素标签，定义每个像素获得某个标签的似然性。
- 正则化项 ：分为图像内和图像间的兼容性项，用于平衡像素标签的一致性。

这个图形模型扩展了传统的离散马尔可夫随机场（MRF）公式，主要体现在两个方面：
- 引入了图像间的兼容性项，不仅在每个图像内进行正则化，还在图像之间进行正则化。
- 考虑了数据集中的所有图像，而不仅仅是单个图像。

优化这个目标函数是一个巨大的推理问题，为了解决这个问题，设计了一个高效的并行消息传递算法。该算法由嵌入在坐标下降方案中的信念传播算法组成。虽然目标函数是非凸的，不能保证达到全局最优解，但实验表明，该算法可以得到合理的解决方案，提高了相关应用的性能。

2. 应用：标注传播

标注传播是将上述推理框架应用于弱标注图像数据集的语义分割问题。该方法利用不同图像之间的视觉相似性，在较少人工标注的情况下实现自动标注。

2.1 公式化

假设每个像素可以获得 (L + 1) 种可能的标签，其中额外的标签 (¿) 表示该像素未被标注。初始时，数据集可能包含图像标签和部分像