14、3D重建技术全解析：从基础原理到实际应用

3D重建技术全解析：从基础原理到实际应用

1. 从图像线索推断形状

在图像中推断物体形状有多种线索，除了双目视差，阴影、纹理和焦点都在我们感知形状的过程中发挥着重要作用。

1.1 从阴影恢复形状与光度立体视觉

当观察光滑阴影物体的图像时，我们可以通过阴影变化清晰地看到物体的形状。这是因为物体表面法线变化时，表面亮度会随着局部表面方向与入射光照之间的角度而改变。从这种强度变化中恢复表面形状的问题被称为从阴影恢复形状，这是计算机视觉中的经典问题。

大多数从阴影恢复形状的算法假设物体表面具有均匀的反照率和反射率，并且光源方向已知或可以通过参考物体进行校准。在远距离光源和观察者的假设下，强度变化（辐照度方程）仅与局部表面方向有关：
[I(x, y) = R(p(x, y), q(x, y))]
其中 ((p, q) = (z_x, z_y)) 是深度图的导数，(R(p, q)) 称为反射图。例如，对于漫反射（朗伯体）表面，反射图是表面法线 (\hat{n} = (p, q, 1)/\sqrt{1 + p^2 + q^2}) 与光源方向 (v = (v_x, v_y, v_z)) 的（非负）点积：
[R(p, q) = \max\left{0, \frac{\rho(pv_x + qv_y + v_z)}{\sqrt{1 + p^2 + q^2}}\right}]
其中 (\rho) 是表面反射系数（反照率）。

原则上，可以使用非线性最小二乘法或其他方法来估计 ((p, q))。但在没有额外约束的情况下，每个像素的未知量 ((p, q)) 比测量值 (I) 多。常用的约束包括平滑约束和可积性约束。