2、3D 手部 - 对象交互序列优化：TOCH 方法解析

3D 手部 - 对象交互序列优化：TOCH 方法解析

1. 引言

在虚拟现实和增强现实的众多应用中，追踪与物体交互的手部动作至关重要，例如建模能够执行操作任务的数字人类。然而，目前针对手部与物体的联合追踪研究相对较少。由于手部可能的配置具有高自由度、频繁的遮挡以及观测数据的噪声或不完整性（如 RGB 图像中缺乏深度通道），使得该问题具有很强的不适定性。

现有的手部追踪器，特别是那些依赖极少摄像头的追踪器，常常产生视觉上不真实的结果，如手部与物体相交或缺少接触。虽然纠正这些错误需要考虑交互的时间方面，但大多数先前的工作主要集中在静态抓握和接触上。

为了解决这些问题，本文提出了 TOCH 方法，这是一种基于数据驱动的方法，用于优化错误的 3D 手部 - 对象交互序列。与先前的交互建模工作不同，TOCH 不仅考虑静态交互，还可以应用于序列，而不会引入突然变化的伪影。

2. 相关工作

2.1 手部和对象重建

• 手部重建和追踪 ：从 RGB 或深度观测中重建 3D 手表面是一个研究较为充分的问题。现有工作通常可分为判别式方法和生成式方法。判别式方法直接从观测中估计手部形状和姿势参数，而生成式方法则迭代优化参数化手部模型，使其投影与观测匹配。然而，这些工作大多忽略了物体的存在，因此在交互密集的场景中可靠性较低。
• 联合手部和对象重建 ：联合重建交互中的手部和对象受到了广泛关注。由于手部 - 对象交互数据集的增加，深度神经网络常被用于估计手部和对象姿势的初始假设，然后进行联合优化以满足某些交互约束。但这些简单方法通常会