20、三维场景重建的集成框架与非朗伯表面立体图像分析

三维场景重建的集成框架与非朗伯表面立体图像分析

1. 基于强度、偏振和深度数据的三维表面重建方法

在三维场景重建中，我们可以利用强度、偏振和深度数据来提高重建的准确性。
- 形状从光偏振反射（SfPR）技术 ：该技术基于对单张或多张强度和偏振图像的分析。通过全局优化方法（涉及变分框架）和局部优化方法（为每个图像像素单独求解一组非线性方程）来确定表面梯度。这种方法适用于强非朗伯表面和漫反射表面。
- 形状从光偏振反射和深度（SfPRD）方法 ：将独立测量的绝对深度数据集成到SfPR框架中，以提高三维重建结果的准确性。我们主要关注两种深度数据：
- 由离焦深度获得的密集但有噪声的深度数据，可用于确定表面的大规模属性和适当初始化表面梯度，同时提供表面反照率的估计。
- 例如通过立体分析或运动结构获得的稀疏但更准确的深度数据。对于稀疏深度信息的集成，我们提出了一种优化方案，使表面梯度同时适应测量的强度和偏振数据以及深度点对之间深度差异所暗示的表面斜率。这种方法将稀疏深度数据转换为密集深度差异数据，对重建的表面轮廓产生非局部影响。

实验评估表明，将偏振信息纳入三维重建方案可显著提高重建表面的准确性，其中偏振角数据带来的益处最大，而强度和偏振度往往包含冗余信息。考虑密集但有噪声的离焦深度数据有助于估计表面反照率并避免误差函数的局部最小值，集成稀疏但准确的深度数据则能显著提高大规模三维重建的准确性。

以下是不同权重参数对重建误差的影响总结表格：
| 图像数据类型 | 权重参数变化对重建误差的影响 |
| ---- | ---- |
| 无噪声图像数据