3、全光时空重建：原理、方法与应用

全光时空重建：原理、方法与应用

1. 全光时空重建概述

在全光函数的重建中，以往的方法难以实现空间和时间上的完全自由度。而全光时空重建则通过 6D 场景表示来呈现 4D 时空，场景中的每个点不仅由 3D 位置描述，还包含 3D 速度向量，假设在两个离散时间步之间为线性运动。

1.1 输入与场景模型

• 输入视频流 ：假定输入的视频流展示了同一场景的多个视角。
• 场景假设 ：场景由具有漫反射特性的不透明物体组成，相机参数已知。
• 预处理 ：自动确定相机之间的子帧时间偏移。
• 场景模型 ：将场景几何表示为一组小的切平面补丁，目标是为整个可见表面的每个点重建一个切平面补丁，每个补丁由其位置、法线和速度向量描述。

1.2 算法处理流程

算法每次处理一个图像组，该图像组由根据其时间和空间参数选择的图像组成。图像组的时间跨度是从组中第一张图像的采集时间到最后一张选定图像的记录时间。处理结果是一个补丁云，在场景空间中无序，但会为输入相机中的每个像素保存与相应视射线相交的补丁列表。

2. 图像选择与处理顺序

2.1 图像选择

为了在给定时间 t′ 重建场景，从输入图像中选择一个图像组 G，其中包含每个相机的三个连续图像，第二个图像是相机在时间上最接近 t′ 拍摄的图像。图像的采集时间由相机时间偏移、相机帧率和帧号确定，公式为：
[ti