【文献阅读】手物位姿估计|Physical Interaction Reconstructing Hand-object Interactions with Physics

Physical Interaction: Reconstructing Hand-object Interactions with Physics

摘要

由于遮挡导致严重的观测值缺失，基于单视图的手-物体交互重建具有挑战性。

本文提出一种基于物理的方法来更好地解决重建中的歧义。首先，提出了一种基于力的手握物体动力学模型，该模型不仅恢复了未观察到的接触，而且还解决了合理的接触力。其次，提出了一种基于置信度的滑动预防方案，该方案结合了运动学置信度和接触力，共同模拟了静态和滑动接触运动。

贡献：

• 第一种用物理合理的接触运动和力实时重建相互作用的手和物体的方法。
• 一种基于物理的接触状态优化算法，利用物体动力学迭代地改进手-对象接触。
• 一种基于置信度的滑动预防算法，它通过结合运动学置信度和物理力估计来消除非物理滑动。

2 相关工作

2.1 手物交互重建

在交互过程中，人们会共同跟踪手的姿态和物体的运动。它们中的许多利用基于优化的方法来找到最适合从不同输入获得的观察结果的解决方案。

近年来，深度摄像机因其可以直接提供三维信息而得到了广泛的应用。

所有这些工作都需要运动估计中物体的模板，这极大地限制了它们的使用。

尽管它们涉及到数据驱动的先验来解决重建过程中严重的歧义，但它们仍然存在一些具有挑战性的严重遮挡姿态。本文着重于进一步提供物理驱动的先验，以更好地解决模糊性。

除了基于优化的方法外，最近的工作还利用神经网络直接从单一彩色图像中提取交互信息。

然而，对于这类技术，新对象几何的泛化能力是有限的，因为与现实世界中巨大的几何变化相比，很难使训练数据集的覆盖足够充分

2.2 基于物理学的动力学重建

最近的工作产生基于物理的手控制策略，从深度强化学习，以达到特定的抓取或移动目标。然而，这些工作假设了一个已知的虚拟物体的形状，目的是合成手的运动来操纵物体，而不是手-物体的重建。

也有一些工作集中于从视觉输入中估计手-物体的接触力。他们需要一个好的手-物体运动估计，目的是估计相互作用过程中的真实力，而我们则专注于利用物理学提高跟踪精度。

然而，这些物理模型要么具有很强的假设，如已知的物体形状或运动，要么不适用于实时重建任务。对于现有的手-对象交互的物理模型，解决重构任务中的模糊性的有效性和实现实时性能的效率之间存在差距。

3 预备知识

采用sphere-mesh建模手，同时使用截断符号距离函数（Tr