AI论文探讨室·A+·第19期 Real-time Non-rigid Reconstruction using an RGB-D Camera

论文主页

效果展示

      左上：先进行刚性目标扫描，得到一个初始模板。左下：使用作者提出的方法形变模板来跟踪目标。中上行：展示在上肢、脸、手图像被捕捉在不同的姿态，并且它们是形变的。最下面一行：展示对应的颜色和深度数据进行重建mesh。

摘要

      本论文提出一个硬件与软件结合的方案来解决非刚性目标的实时重建。该系统使用一个自制的立体相机，该相机是由现成设备以及消费级的图像处理硬件来生成空时增强的3D模型，它的频率在30HZ。一个新的立体匹配算法来估计实时的RGB-D数据。首先扫描一个平滑模板目标，及目标进行刚性运动。这个先验的几何表面避免了复杂场景的假设，例如一个人体骨架或者一个参数化的模型。然后，一个新颖的GPU方法对非刚性注册处理RGB-D数据，来平滑模板使用一个外部非线性as-rigid-as-possible(ARAP)框架。高频细节被融合到最后的mesh使用一个线性形变模型。这个系统是一个数据量级较快的比先前的方法，一些离线算法的匹配质量和鲁棒性。本论文展示了一个在不同场景下实时的重建，包括：大形变的人头，手，以及上肢；皮肤和衣服的细节；用户对玩具等非刚性目标的形变。我们将演示如何使用所获取的模型以形成各种交互效果，包括重新纹理、在线性能捕获和预览以及实时形状和运动重新定位。

系统框架

左：在线生成一个初始模板，多个视角体素融合，在跟踪阶段进行多个分辨率纹理层次预计算。右：在跟踪阶段，每一个新帧刚性存储到模板上，一系列基于GPU的高斯牛顿优化来解决粗糙到精细mesh。在这个精细的分辨率上，细节使用瘦小模板进行正则化来得到精细mesh

                        

中间使用的是批量匹配结果，最右边是使用可变精细匹配得到的结果。

了解更多关于《计算机视觉与图形学》相关知识，请关注公众号：

下载我们视频中代码和相关讲义，请在公众号回复：计算机视觉课程资料