光场相机知识整理

光场相机实现原理

什么是光场相机？
光场相机是在普通相机镜头的焦距处加上光学透镜用以记录不同方向的光线，然后可以完成重新聚焦。
原理图如下：

基础知识补充

1.光场
跟电场磁场的概念差不多，用以描述光的一些特性，其包含了光线强度、位置、方向等信息。
2.全光函数
全光函数用以表述光线在空间的分布，即任意一个方向光线的强度，为七维函数，空间位置（x，y，z），方向（Θ, Φ），波长（λ）和时间（t）。在相机中光线的波长和时间以RGB通道和帧数表示，所以可认为是五维。
3.双平面模型
从上文我们已经知道要获得光的信息，现在我们缺少的信息是光的位置和光的方向，于是有了如下双平面模型的提出：

可以看到只要记录了光线经过两平面的坐标就能推出其方向信息，在光场相机中可以以像面、镜头瞳面与主透镜平面可以两两组合，得到光线的位置信息和方向信息。
4.空间分辨率，角度分辨率
在光场相机中，近似把主透镜看作是无穷远处的场景，各个微透镜后面所覆盖的传感器上的像素相当于对主透镜对应光线的采样。如下图所示，B点只有在最大视差范围内的光线才能进入相机，可以看到在FOP（最大视差）内的光线经过微透镜采样后分成了44的光线，因此角度分辨率可以认为是发光点能进入主透镜的光线被离散化的程度。视点图像分辨率表征的是被采集场景表面离散化程度，成像传感器分辨率除以角度分辨率即为视点图像分辨率。

5.光场4D可视化
4D光场数据可以表示为（Vx, Vy, Rx, Ry），其中（Vx, Vy）表征了角度分辨率，表示有VxVy个视点（View）图像；（Rx, Ry）表征视点图像分辨率，表示单个视点图像的分辨率为Rx*Ry。视点图像分辨率越高，包含的细节越多。角度分辨率越高，单位角度内视点数量越多，视差过度就越平滑。角度分辨率越低，视点就越稀疏，观看光场时视点跳跃感越明显。
光场中任意两个视点间都存在视差，将光场（Vx, Vy, Rx, Ry）中的部分视点图像放大，如图11中下侧所示；同一行所有视点图像之间只有水平视差，没有垂直视差；同一列所有视点图像之间只有垂直视差，没有水平视差。

光场相机的优点与不足

由于光场信息提供了很多视图，可以在很多方面得以应用，例如重聚焦，深度估计等这些需要更多光的维度信息的应用方面，但为了获取来自不同视角的光线，势必要牺牲图像的分辨率来提升角度分辨率（获取不同角度光线的能力）。

最近在看光场相机的知识就整理了了一下，以下是参考的一些博文，大家有兴趣的话可以看看哦~
Mars说光场（1）— 为何巨头纷纷布局光场技术
光场成像的历史与发展
光场相机是如何实现的？