光场相机建模与畸变校正改进方法

摘要：光场相机作为一种新型的成像系统，可以直接从一次曝光的图像中得到三维信息。为了能够更充分有效地利用光场数据包含的角度和位置信息，完成更加精准的场景深度计算，从而提升光场相机的三维重建的精度，需要实现精确的几何建模，并精确标定其模型参数。该方法从薄透镜模型和小孔成像模型出发，将主透镜建模为薄透镜模型，将微透镜建模为小孔成像模型，结合光场相机双平面模型，将每个提取到的特征点与其在三维空间中的射线建立联系，详细解释了内参矩阵中每个参数的物理意义，以及标定过程中初值确定的过程，并在镜头径向畸变模型的基础上进一步应用了相机镜头的切向畸变模型以及基于射线重投影误差的非线性优化方法，改进了光场相机的标定方法。实验显示，该方法的RMS射线重投影误差为0.332mm，与经典的Dansereau标定方法相比，进行非线性优化后得到的射线重投影误差精度提升了8%。该方法详细分析的场景点与特定像素索引的推导过程对光场相机的标定具有重要的研究意义，为光场相机光学模型的建立与初始化标定奠定了基础。

关键词：机器视觉；光场相机；重投影误差；相机标定；镜头畸变

引言

传统相机的成像方式只能记录光线所经过的位置信息，丢失了光线的深度信息，即三维信息。光场相机作为一种新型成像系统，由于其内部含有微透镜阵列这一特殊构造[1]，可以同时获取光线的角度和位置信息，能颠覆传统成像方式的图像生成方法，实现如数字重聚焦、合成子孔径图像、光场显微成像、全景深图像合成、场景深度图获取等功能[2]。能够为三维重建[3]、全景拼接、视角合成、目标识别与跟踪等计算机视觉问题提供更加完备而有效的解决方案[4]。

光场相机的原型首先是由Adelson和Wang[5]在1992年提出的。第一个商业化的手持光场相机是由NgR[6]在2005年设计的，然后由Lytro公司发布。该光场相机在图像传感器与主透镜之间放置了一个微透镜阵列，通过它来获取光线的更多场景信息。但是该相机模型的空间分辨率不高，又被称为未聚焦光场相机。2009年，Georgiev和Lumsdaine[7−8]提出了基于Ng光场相机模型的新模型，名为聚焦光场相机，其中微透镜阵列(MLA)聚焦于主透镜形成的图像平面上。这个相机模型由Raytrix公司发布，有更高的空间分辨率，但是角度分辨率较低。

相机的标定参数可以提高其精度和性能，因此，研究者们提出了不同的标定方法。2013年，Dansereau[9]等人提出一种包含15个参数的相机标定模型和方法，他们推导了像素索引与光线的四维内参矩阵和畸变模型，但其工作中仍然存在着初始化优化和解决校准参数等问题。2014年，Bok[10]等人提出了利用原始图像提取适当区域内线的特征校正线性形状的相机投影模型的方法，然而，他们并没有模拟外子孔径图像的镜头畸变。2016年，Zeller[11]等人提出了一种测量校准方法，使用全聚焦图像和虚拟深度图计算三维观测结果，然而，该方法未能得到物体距离超过1m的特征点。Johannsen[12]等根据该特征重建标定物的三维点坐标，通过序列二次规划(SQP)优化方法求解内外参数，但却忽略了微透镜产生的畸变。Zhang[13]等人提出了一种基于原始图像特征与深度尺度信息之间关系的校准方法，然而他们没有对微透镜阵列引起的畸变误差进行补偿，为了填补这一空白，2017年，Noury[14]等人提出了一种仅基于原始图像的校准方法。这项工作开发了一种新的检测器，以直接估计棋盘格，观察原始图像的亚像素精度。然而，他们从白图像而不是捕获的原始图像估计微图像的网格参数，这在标定过程中引入了不确定性。光场相机出现时间不长，其成像模型的建立与参数标定研究并不多，仍然不成熟。

文中在经典的Dansereau方法的基础上，改进了光场相机的标定与畸变校正方法，通过通用的小孔成像与薄透镜模型，分析了光场相机模型中参数的物理意义，并用通用相机的标定方法进行光场相机标定，推导出不同方向的子孔径图像像素坐标的索引与穿过主透镜和微透镜阵列的光场射线的精确关系，利用投影转换关系估计出光场相机的内参，并考虑相机的径向畸变与切向畸变模型，最后利用重投影误差对其参数进行优化。

1光场相机精确几何模型建立

1.1成像模型

光场相机的典型代表是Ng等设计的传统光场相机(Plenopic1.0)。小孔成像模型描述微透镜阵列，薄透镜模型描述主镜头。该成像装置在传统相机的焦平面处放置一个微透镜阵列，并将图像传感器置于微透镜的一倍焦距处。真实场景中特定深度平面上来自同一点的不同方向光束，通过主镜头折射、微透镜聚焦，最终被图像传感器上的成像单元所记录，如图1所示。

如图1所示，A表示图像传感器平面，B表示微透镜阵列平面，C表示主透镜平面，O−XY为图像坐标系，Oc−XcYcZc为相机坐标系，Ow−X