10、随意拍摄视频的3D重建与基于视频的渲染

随意拍摄视频的3D重建与基于视频的渲染

1. 背景重建与纹理映射

• 深度图计算 ：使用基于归一化互相关的标准多视图平面扫描立体视觉（MVS）为每张照片计算深度图。
• 多边形表面网格生成 ：利用一种稳健的范围图像融合方法生成最终的多边形表面网格。
• 纹理提取与烘焙 ：从照片中提取背景几何的静态纹理，并使用基于小波的金字塔融合技术将其烘焙到几何模型上。不过，由于背景场景在某些地方较为动态，在系统的交互阶段，部分纹理将通过从每个相机的视频中机会性地采样依赖视图的颜色来替换。

以下是这个过程的mermaid流程图：

graph LR
    A[照片集合] --> B[计算深度图]
    B --> C[生成多边形表面网格]
    C --> D[提取静态纹理]
    D --> E[烘焙纹理]
    E --> F[交互阶段替换部分纹理]

2. 空间、时间和光度校准

2.1 相机姿态计算

• 特征匹配 ：搜索用于重建背景的图像中的SIFT特征，与每个视频帧中的特征进行匹配，生成当前帧中2D点与背景几何中3D点的对应关系。
• 姿态恢复 ：应用直接线性变换（DLT）和基于重投影误差的细化步骤，恢复相机在特定时间的姿态。