23、基于标签转移的非参数场景解析技术

基于标签转移的非参数场景解析技术

1. 标签转移与场景检索技术的影响

在图像理解领域，标签转移是一种重要的方法，其标签转移模块中的似然项仍来自SIFT描述符距离。不同的场景检索技术会对系统产生不同的影响。除了使用GIST距离来检索最近邻图像外，还尝试了HOG视觉词的空间金字塔直方图交集以及真实标注的空间金字塔直方图交集这两种场景检索技术，并分别展示了相应的各类别识别率。

对于特定数据库，实验发现GIST的表现略优于HOG视觉词。此外，还探索了在理想场景匹配情况下标签转移框架的上限性能。具体操作是使用真实标注来检索每个图像的最近邻，此时系统的识别率上限达到了83.79%。

为了进一步了解数据驱动系统，在固定测试集的情况下，评估了系统性能与训练样本比例的关系。具体步骤如下：
1. 对于每个固定的比例，从原始数据库中随机抽取样本形成一个小的训练数据库。
2. 评估系统在该训练数据库下的性能。
3. 每个比例重复上述实验15次，以获得性能的均值和标准差。

实验结果清晰地表明，识别率取决于训练数据库的大小。通过对最后10个数据点进行外推，如果将训练数据增加10倍（对应横轴上的1），识别率可能会提高到84.16%。不过，这种线性外推没有考虑到潜在的饱和问题，当使用超过10%的训练样本时就可能出现这种情况，这也说明对于该数据库，当前的训练数量是合理的。

在检测解析结果好坏的能力方面，使用了三个指标对测试图像进行重新排序：识别率（相对于真实标注评估的理想指标）、能量最小化后式(5)中的解析目标以及到最近邻的基于GIST的平均距离。排序后，计算了作为测试样本比例函数的累积平均识别率。例如，如果使用解析目标作为指标，当只选取前75%的解析结果时，平均识别率可以超过80%，系统可以拒绝剩余得分较低的25%结果。

2. SUN数据库上的系统性能评估

SUN数据库包含9556张室内和室外场景的图像，共有515个对象类别。该数据库的像素频率计数显示，前100个类别中，先验分布严重偏向于类似“墙”“天空”“建筑物”“地板”和“树”等类别。

数据库的数据被随机分为8556张用于训练和1000张用于测试。通过使用真实标注的空间金字塔直方图交集距离来测量图像之间的距离，并使用缩放多维尺度（MDS）将其投影到二维空间，可视化了数据库的结构。可以清晰地看到，图像被聚类为室内（左侧）和室外（右侧）场景，且两者之间有平滑的过渡。在室外聚类中，从顶部到底部可以观察到从花园、街道到山脉和山谷的变化。

系统在SUN数据库上的一些场景解析结果显示，由于SUN数据库是LabelMe Outdoor数据库（LMO）的超集，结果的选择略微偏向于室内和活动场景。总体而言，系统在解析这些具有挑战性的图像时表现合理。

不同场景检索技术在SUN数据库上的性能表现如下表所示：
| 场景检索技术 | 识别率 |
| — | — |
| 真实标注 | 64.45% |
| HOG视觉词 | 47.02% |
| GIST | 45.46% |

从表中可以看出，HOG视觉词特征在这个较大的数据库上优于GIST，这与在SUN数据库的场景识别中HOG特征在包括GIST在内的一组特征中表现最佳的发现是一致的。不过，SUN数据库的识别率低于LMO数据库，可能的原因是室内场景相较于室外场景规律性较少，且SUN数据库有515个对象类别，而LMO数据库只有33个类别。

下面是一个mermaid格式的流程图，展示了系统在SUN数据库上的评估流程：

graph LR
    A[SUN数据库] --> B[数据划分]
    B --> C(训练数据: 8556张)
    B --> D(测试数据: 1000张)
    C --> E[场景检索技术应用]
    D --> E
    E --> F{选择检索技术}
    F --> G[真实标注]
    F --> H[HOG视觉词]
    F --> I[GIST]
    G --> J[计算识别率]
    H --> J
    I --> J
    J --> K[结果分析]

3. 标签转移系统的特点与优势

3.1 开放性与便捷性

非参数场景解析系统的一个独特特点是其开放性。若要支持更多的对象类别，只需向数据库中添加新类别的图像，而无需额外的训练。这与传统的基于学习的系统形成鲜明对比，在传统系统中，当数据库中插入新的对象类别时，所有的分类器都需要重新训练。

3.2 对象识别依赖与方法可替代性

尽管系统中没有对象外观的参数模型（概率分布或分类器），但识别对象的能力依赖于不同场景间可靠的图像匹配。当查询图像中的对象与标注数据库中最近邻图像的对象建立良好匹配时，已知的标注自然可以解释查询图像。系统选择了SIFT流来建立两个不同图像之间具有语义意义的对应关系，不过该模块可以很容易地被其他或更好的场景对应方法所替代。

3.3 上下文信息的自然嵌入

虽然系统没有显式地建模上下文信息，但基于标签转移的场景解析系统自然地嵌入了上下文连贯的标签集。在数据库中检索到并通过SIFT流得分重新排序的最近邻图像大多属于同一类型的场景类别，这隐式地确保了上下文的连贯性。例如，在某个解析结果中，尽管山脉的反射被误分类为田野、地面、树木和植物，但解析结果在上下文中是连贯的。

4. 系统相关因素分析

4.1 场景检索的作用

非参数场景解析系统在很大程度上依赖于场景检索技术，通过该技术可以在大型数据库中获取查询图像的最近邻。尝试了两种流行的技术：GIST和HOG视觉词。结果发现，基于GIST的检索在LMO数据库中性能更高，而HOG视觉词在SUN数据库中倾向于检索到更好的最近邻。此外，通过使用真实标注进行场景检索，展示了系统的上限性能，这为在理想场景检索系统下系统的有效性提供了直观认识。当前该领域通过结合多个核的最新进展为场景检索指出了有前景的方向。

4.2 评估标准的改进

目前，使用像素级识别率这一简单标准来衡量场景解析系统的性能。只有当解析结果与真实标注完全相同时，像素才被认为是正确识别的。然而，人类标注可能存在歧义。例如，在某个解析示例中，山被识别为树，水被识别为河流，按照当前的评估框架，这些像素被视为错误分类，但从人类的角度来看，这种解析可能被认为是准确的。一个更精确的评估标准应该考虑同义词、共现和遮挡关系等因素，这方面的改进可作为未来的工作方向。

4.3 非参数与参数方法的比较

非参数场景解析系统通过标签转移取得了有前景的结果，优于现有的基于识别的方法。但该系统并非图像理解的终极解决方案，对于像“人”“窗户”“公交车”等小对象，其效果不佳，而这些小对象可以通过检测器更好地处理。此外，当无法建立良好的匹配或难以检索到好的最近邻时，像Textonboost这样的像素级分类器也会很有用。因此，将这些方法结合用于场景解析和图像理解是一个自然的未来发展方向。

下面是一个mermaid格式的流程图，展示了系统整体的工作流程：

graph LR
    A[输入图像] --> B[场景检索]
    B --> C{选择检索技术}
    C --> D[GIST]
    C --> E[HOG视觉词]
    C --> F[真实标注]
    D --> G[获取最近邻图像]
    E --> G
    F --> G
    G --> H[标签转移]
    H --> I[场景解析]
    I --> J[结果评估]
    J --> K{评估是否满意}
    K -->|是| L[输出解析结果]
    K -->|否| M[调整参数或方法]
    M --> B

综上所述，非参数场景解析系统通过标签转移在图像理解方面展现出了独特的优势和潜力，但也存在一些需要改进和完善的地方。通过不断优化场景检索技术、改进评估标准以及结合其他方法，有望进一步提高系统的性能和应用范围。