7、计算机视觉中的阴影分析与形状推断

计算机视觉中的阴影分析与形状推断

1. 阴影在图像中的重要性及挑战

阴影在计算机视觉领域是一个极具价值的线索。以变形塑料袋的电影序列图像为例，通过回归方法替换原始纹理后，尽管反照率（如袋子上的黑色图案）与袋子的褶皱不一致，但由于保留了原始的阴影场，图像看起来仍然不错，这间接证明了阴影对人类感知的重要性。

然而，利用阴影进行形状推断面临诸多困难：
- 物理模型不足 ：实际表面的光照情况复杂，一个特定的表面斑块不仅受光源照射，还受其他表面斑块的影响，现有的物理模型难以准确描述这种情况。
- 几何约束处理困难 ：重建表面时存在丰富的几何约束，要在考虑这些约束的同时通过阴影来确定形状并找到解决方案并非易事。
- 高维模型需求 ：阴影可以在极高的空间分辨率下被观察到，但这意味着需要使用非常高维的模型进行重建。
- 重建方案不稳定 ：一些阴影重建方案不稳定，且缺乏理论指导来设计稳定的方案。
- 缺乏同时推断阴影和反照率的方法 ：很少能看到已知反照率的孤立表面，目前也没有能够同时推断阴影和反照率的有效方法。
- 误差预测理论缺失 ：没有理论能够从第一原理预测基于阴影的重建误差。

2. 阴影研究的起源与机制

Horn 开启了计算机视觉中阴影的系统研究，他发表了多篇关于利用点光源的局部阴影模型恢复形状的重要论文。

从单张图像推断表面形状有两种重要机制：
-