13、基于RGBD的几何重建与材料感知技术

基于RGBD的几何重建与材料感知技术

在计算机视觉、计算机图形学和机器人学等科学领域，从获取的图像中推断物体的潜在材料特性具有重要意义。例如，在机器人操作中，区分瓷杯和塑料杯的材料特性，有助于机器人采取不同的操作策略。本文将介绍一种基于非结构化商业RGBD相机的实时人体性能捕捉系统，以及利用结构光相机进行多模态材料感知的方法。

1. 实时人体性能捕捉系统：UnstructuredFusion

• 系统优势 ：提出使用非结构化商业RGBD相机开发UnstructuredFusion系统，该系统无需标记，可实时捕捉人体性能。它缓解了以往系统对高质量4D几何和纹理结果生成的严格要求，如高度结构化的多相机设置、繁琐的校准和同步程序。
• 解决问题 ：通过灵活的硬件架构，仅使用三个非结构化RGBD相机，解决了在线多相机校准、非刚性跟踪和基于大量异步电影的地图纹理等具有挑战性的问题。该方法得到了人体和运动的强全局约束支持，分别由骨骼和变形骨骼表示。
• 测试评估 ：进行了大量测试，评估了UnstructuredFusion在无需耗时校准的情况下，进行高质量4D几何和纹理重建的效率。即使在灵活手动布置三个相机的情况下，该系统也能有效工作，同时解决了单相机布置中出现的遮挡问题。

2. 结构光相机的多模态材料感知

2.1 材料感知的挑战与结构光相机的优势

• 挑战 ：基于图像的材料识别存在问题，因为材料、几何和光照特性在图像感知