5、图像捕捉、表示与深度处理技术解析

图像捕捉、表示与深度处理技术解析

1. 全光相机与光场处理

1.1 全光相机原理

全光方法通过多个光学元件创建一个被定义为光场的 3D 空间。全光系统使用一组微光学元件和主光学元件对 4D 光场进行成像，并在后期处理中从光场中提取图像。全光相机仅需一个图像传感器。4D 光场包含空间中每个点的信息，可表示为体数据集，将每个点视为体素（即具有 3D 定向表面、颜色和不透明度的 3D 像素）。体数据经过处理后可产生不同的视图和视角位移，从而在拍摄图像后实现多焦平面聚焦。通过对体数据进行切片，可分离出不同视角并渲染 2D 图像。光场的渲染可采用光线追踪和体渲染方法。

1.2 光场的傅里叶投影切片定理处理

除了对光场进行体渲染和表面渲染外，还可通过傅里叶投影切片定理在频域中处理 3D 场或体数据的 2D 切片。其基本算法步骤如下：
1. 使用 3D FFT 将体数据正向变换为幅度和相位数据。
2. 为了便于可视化，将频域体数据中的 3D FFT 结果按卦限移动每个立方体，使频率为 0 的数据围绕体中心的 3D 笛卡尔坐标系中心排列，类似于 2D 频谱为了在 2D 笛卡尔坐标系中心显示而进行象限移动。
3. 从与视场（FOV）平面平行的体数据中提取一个经过体中心原点的平面 2D 切片。从频域体数据中提取切片的角度决定了所需 2D 视图的角度和景深。
4. 对频域中的 2D 切片进行逆 2D FFT 变换，以生成与所选角度和景深对应的 2D 空间图像。

1.3 光场处理流程总结

下面是光场处理的 mermaid 流程图：