【文献阅读】手物位姿估计|Semi-supervised 3d hand-object poses estimation with interactions in time

此笔记为文章的不完全记录理解，目录按原文标记。

摘要

从一幅图像中估计3D的手和物体的姿态是一个极具挑战性的问题：在交互过程中，手和物体经常被自我遮挡，而3D注释也很少，因为即使是人类也不能直接完美地标记一幅图像的真值。

为了解决这些挑战，我们提出了一个统一的框架通过半监督学习来估计三维的手和物体姿态。

我们建立了一个联合学习框架，在手和对象表示之间执行显式的上下文推理.

除了在单个图像中使用有限的3D注释之外，我们还利用大规模手-对象视频中的时空一致性作为在半监督学习中生成伪标签的约束条件。

我们的方法不仅改进了具有挑战性的真实数据集的手姿态估计，而且大大改进了每个实例真相较少的对象姿态

通过大规模不同视频训练，我们的模型还可以更好地跨多个域外数据集。

3 总体框架

我们的三维手和物体姿态估计方法包含两个主要组成部分： (i)手和对象之间具有上下文推理的联合学习框架，该模型是在全监督学习下进行训练；（ii）半监督管道，受时空一致性的约束，用于探索视频中的额外标签进行训练。

4 手物联合学习框架