光场相机知识总结

1 光场成像

要了解光场相机，首先了解光场是什么。光场（Light field)用以描述光在三维空问中的辐射传输特性，概念跟电场磁场大同小异，用以描述光的一些特性，其包含了光线强度、方向和位置等信息。在1991 年，E.Adelson和J. Bergen通过分析人的眼睛感知外部光线机制，首次提出使用七维函数的全光函数来表征空间分布的几何光线。光场成像与传统成像方式的存在巨大的差异，传统成像不需要进行后期的处理就能保存好所见的图像。而光场成像是一种计算成像的技术,其采集的光场需经过复杂的数字处理算法才能得到清晰的图像。

1.1 光场成像原理

与传统成像方式的“所得即所见”不同，光场成像作为一种计算成像技术,.其“所得”(光场）需经过相应的数字处理算法才能得到“所见”(图像)。因此，光场成像的过程包括光场的采集以及相应的光场数据处理。

光场（Light field)用以描述光在三维空问中的辐射传输特性，跟电场磁场的概念差不多，用以描述光的一些特性，其包含了光线强度、位置、方向等信息。
1991 年，E.Adelson和J. Bergen根据人眼对外部光线的视觉感知，提出用七维函数来表征空问分布的几何光线，称之为全光函数(Plenoptic function)。

全光函数P(x,y,z,θ, φ,λ,t)所包含的七个变量分别表示:, x,y,z——光线中任一点的三维坐标，θ,φ——光线的传输方向,λ——光线的波长，t——时间。

1.2 光场采集

光场成像的过程包括两个步骤——光场采集和对应的光场数据算法的处理。现有的光场采集方法主要分为三大类型：多传感器采集、时序采集和单相机光场采集。多传感器采集方法需要用到分布在平面或球面上的图像传感器阵列,以同时捕获来自不同视点的光场样本，每个相机分别位于不同视角的方向，对应光场的一个方向采样。时序采集方法使用单图像传感器并通过多次曝光来捕获光场的多个样本，典型的方法是使用安装在机械台架上的传感器来测量不同位置的光场。多相机阵列的规模和尺寸决定了其只限于特定场合的使用，而如何实现单个相机内的光场获取则更具有现实的应用意义。上市的光场相机典型的有raytrix公司和lytro公司生产的。

                                             ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~                                             a 多传感器采集                                                             ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~                                                             b 时序采集
                ~~~~~~~~~~~~~~~~                
                                                      ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~                                                      c 单相机采集

2 光场相机

2.1 光场相机原理

通过在普通相机镜头(主镜头)焦距处加微透镜阵列实现记录光线，再通过后期算法(光场成像算法)数字变焦。光线通过主镜头后，打到微透镜阵列上，并再次成像。那么，放在微透镜阵列后的像素，尽管仍然只记录了光线的强度信息，但却因其相对于某个微透镜的位置而记录了光线的方向信息。要想理解光场相机的原理，必须先理解传统成像过程的本质。所谓成像，不过是对物空间某一平面上光场强度分布的清晰重现而已。即，如微透镜阵列是10*10，像素阵列是50*50，则每个微透镜分到5*5个像素，这25个像素分别记录了通过主透镜的25个不同位置并到达此微透镜的25根光线的强度信息。这样，单纯用微透镜阵列和光电传感器°，就相当于记录了通过主透镜的所有光线。在后期处理时，只需要对光线重新追迹即可完成重聚焦，因为光线在自由空间中的传播是可以用两个平面、四个坐标°(四维量，学术上称为光场)来唯一表示的，而成像过程只不过是对这个四维光场进行了一个二维积分°，从而得到了二维图像。光场相机相当于直接记录了四维光场，不同焦深的图像只不过是在做不同情况下的二维积分罢了。

图2.1 光场相机原理图

2.2 光场相机与普通相机比较

普通相机： 主镜头直接聚焦在图像平面上
光场相机： 主镜头生成中间图像，微透镜阵列作为相机阵列，将中间图像聚焦到图像平面上

图2.2 普通相机与光场相机的区别

2.3 图像计算

光场相机原始数据的（之后补充光场相机仿真图）都知道，直接观测数据是不能看的，是一个一个的圆形区域，因为每个微透镜都对圆形的主透镜成像，所以实际上光场相机上最终产生的图像是对原始数据进行求和之后得到的，怎么求和呢，就是每个微透镜后面对应的像素加起来，所以一个微透镜也就成了最终的一个像素。

图2.3 图像计算流程图

2.4 重聚焦

重聚焦就是将采集到的光场重新投影到新的图像平面进行积分。
以二维情况为例，L(u, s)为采集到的光场，U 和S分别表示主镜头孔径所在的平面和微透镜阵列所在平面，两个平面之间的距离为l。选择新的对焦平面S’，与U平面的距离为l’，令l’=α*l。S’平面上所成的像等于U-S’之间光场的积分。

图2.4a 重聚焦原理图 原理分析：

假设镜头平面为（u,v),成像平面为(s,t) ,对于在(s,t）成像光强的结果是可以被纪录下来的，普通相机就是仅仅纪录了这种在(S,t)平面成像的结果，它是一个只关乎(s,t)平面的函数。
假设某个微透镜的中心坐标为(s,t),像素屏上某一像素的光强其实就是主镜头上的一个小区域(u.v)到(s,t)上光强的积分，假设主镜头上的区域无限小，那么就可以通过这一个个的积分近似得到离散的函数F (u,v,s,t)，而得到了这个函数就可以计算不同焦距成的像了，因为不同焦距，只是改变了s，t成像平面的值，而通过函数F (u,v,s,t)可以随时计算出成像平面由(s,t）变换到(x’,y’)的成像函数，进而计算出该平面各点的光强值。

对于同一条光线而言，应该有

$$L(u,s)=L^{\prime }(u,s^{\prime })$$简单来说，重对焦就是对光场在位置维度进行平移后在方向维度进行积分的过程。

图2.4b 重聚焦具体例子

3 光场相机优缺点

3.1 优点

• 重聚焦图像
• 深度估计
• 3D成像

A 深度估计

立体照相机

光场相机

B 清晰的三维边缘

C 去遮挡效应

                             ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~                              单目拍摄的图片                                                ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~                                                光场相机重聚焦后的去遮挡效果

3.2 光场相机的缺点

• 空间分辨率低
• 基线过短
• 相机的动态范围HDR被压缩

光场相机之所以没有很大范围的流行起来，其主要原因是存在很多弊端。由于光场相机为了采集不同视角的信息，在CCD前放置了一个微透镜阵列。但是相机可以采集的总信息量却是受限于成像芯片上CCD像素的尺寸和数目，角度信息和空间信息的关系可以简单描述为： 信息总量=空间信息*角度信息；两者相互折中和制约，如同我在另一个回答所指出的，单个视角下的光场图像的大小，等于微透镜阵列中微透镜的个数，由于单个微透镜下的像素数目介于100到200之间，因此微透镜个数相当于原始CCD像素数目的100倍级别的压缩，对于一个1000万像素的光场相机，经过视角信息的折中压缩后，得到的单视角有效像素数目，居然只有十万像素量级！微透镜的基线长度，无法超过CCD芯片尺寸本身。为了让相机CCD不过曝或者过暗，被拍摄物体的亮度只能在一个比较小的动态范围内，使得物体离焦近时不至于过曝，离焦远时不至于过暗。

光场相机突出的优势或许能在未来的光学研究上有很好的发展，它与人工智能、深度学习之间的融合已经是必不可免的发展趋势，以目前研究来看，如何克服光场相机存在的缺点是值得广大悻悻学子去研究的地方。