17、以自我为中心的手与物体分割技术解析

以自我为中心的手与物体分割技术解析

在计算机视觉领域，手与物体的分割是一个重要且具有挑战性的任务。本文将详细介绍一种以自我为中心的手与物体分割方法，包括数据增强技术、实验结果以及相关应用。

1. 数据增强技术

为了生成语义一致的手 - 物体和上下文，采用了上下文感知的图像合成管道。具体步骤如下：
1. 生成“干净”查询背景 ：使用修复模型生成“干净”的查询背景。
2. 检索相似背景场景 ：基于提取的深度特征，从“干净”背景候选池中检索前 K 个相似的背景场景。
3. 采样背景场景 ：从检索到的前 K 个背景图像中采样多个背景场景。

这个过程允许根据需要生成大量的手 - 物体和上下文数据，实验证明了该数据增强技术的有效性。

2. 手 - 物体分割实验

为了评估手 - 物体分割的性能，进行了一系列实验。首先，从 30 个收集的 YouTube 以自我为中心的视频中稀疏采样 500 帧，作为分布外测试集。所有模型都使用 MMSegmentation 代码库进行训练和评估。

2.1 双手分割

之前的手分割数据集对手标签有不同的定义，如左右手、二值手或二值手 + 手臂。为了进行公平比较，在每个数据集上训练相同的 ResNet - 18 骨干网络和 HRNet 头部，并根据验证集选择最佳检查点，最后在相同的保留测试集上计算结果。

数据集	mIoU