11、密集非刚性运动结构中的形状先验：显式遮挡处理方法

密集非刚性运动结构中的形状先验：显式遮挡处理方法

1. 动机与贡献

在处理现实世界中的图像序列时，当前的方法存在一定局限性。一方面，场景中的运动和变形程度及类型常违反系统假设；另一方面，严重的自我遮挡和外部遮挡频繁出现，导致对应关系嘈杂且错误。由于计算对应关系的方法在补偿遮挡方面能力有限，非刚性运动结构（NRSfM）方法需要能够稳健地处理缺失数据及其带来的干扰影响。

为解决这些问题，提出了一种新颖的密集正交NRSfM方法——基于形状先验的变分方法（SPVA），同时还给出了一种从多个无遮挡帧中获取形状先验的方案。该方案基于一个现实假设，即参考帧中的场景无遮挡，且存在一些无遮挡视图。形状先验的影响可以通过一系列遮挡图（遮挡张量）来控制，这些遮挡图从测量矩阵和输入图像序列中获得。与基于模板的重建方法不同，该框架能自动计算形状先验，且不依赖刚性假设。

将所提出的方法整合到一个联合对应计算、遮挡检测、形状先验估计和表面恢复的框架中，并与不同的先进非刚性恢复管道配置进行了评估。在存在大遮挡或嘈杂对应关系的真实场景中，SPVA在重建精度和处理时间方面都超越了现有技术。据了解，该方法是首个在密集场景中无需昂贵的对应校正步骤就能稳定处理严重外部遮挡的方法。

2. 相关工作

2.1 因子分解方法

所提出的方法基于将测量矩阵分解为形状和相机运动，并对一批图像进行操作。因子分解的思想最初是为刚性情况提出的，后来被应用于非刚性情况，其中每个形状由基形状的线性组合表示。这种统计约束可以解释为形状先验的基本形式，反映了变形线性的假设。这种设置在适度变形的情况下表现良好，许多后续方法都基于度量空间约束的思想构建。而SPVA则通过惩罚形状矩阵的核