基于深度学习的光场超分辨率算法综述

摘要：光场图像分辨率低的原因之一是光场空间分辨率和角度分辨率之间存在相互制约。光场超分辨率技术旨在从低分辨率光场图像中重建出高分辨率光场图像。基于深度学习的光场超分辨率方法通过学习高、低分辨率光场图像之间的映射关系来提升图像的质量，突破了传统方法计算成本高、操作复杂的限制。本文对近年来基于深度学习的光场超分辨率技术研究进展进行了全面综述，梳理了网络框架和典型算法，并进行了实验对比分析。最后，总结了光场超分辨率领域面临的挑战，并展望了未来可能的发展方向。

关键词：光场；图像超分辨；图像修复；深度学习

1 引言

光场超分辨率（LightFieldSuperResolution，LFSR）目的是从低分辨率光场图像中重建出相应的高分辨率光场图像。光场相机通过在主透镜和成像平面之间加入微透镜阵列的设计，可同时记录光线的空间信息和角度信息，能更形象地表示真实世界。使得光场图像在重聚焦[1]、深度估计[2]、虚拟现实[3]和3D重建[4]等领域都有广泛应用。然而，也正是由于光场相机的硬件设计导致了光场空间分辨率与角度分辨率之间存在相互制约的问题，使获取的光场图像分辨率较低，限制了光场图像在实际中的应用。

研究者们利用两种方法来解决光场图像分辨率低的问题。一种是通过改善光学系统，直接在硬件层面提升成像分辨率[5-6]，但硬件成本高昂，不利于在实际应用中拓展。另一种方法是利用各类LFSR算法来重建光场图像分辨率。根据对光场空间和角度信息的利用，现有的LFSR算法主要可以分为光场空间超分辨率（LightFieldSpatialSuperResolution，LFSSR）、光场角度超分辨率（LightFieldAngularSuperResolution，LFASR）、光场空间-角度超分辨率（LightFieldSpatial-AngularSuperResolution，LFSASR）三类。这三类算法中包含基于几何投影、基于优化以及基于深度学习的方法。基于几何投影的方法[7-8]依赖于光场相机的成像原理，利用子孔径图像（Sub-apertureImage，SAI）不同视图之间丰富的亚像素信息来超分辨目标视图。Lim等人[7]提出2D子孔径图像在空间维度上存在亚像素偏移，将其投影到凸集上可以增强图像的空间分辨率。Nava等人[8]利用重聚焦原理，将其他视图的像素投影到中心视图，来得到当前场景的全聚焦图像。基于优化的方法[9-12]在不同的优化框架下进行超分辨，并用不同 的数学模型来分析先验。2012年，Mitra等人[9]提出一种基于patch的高斯混合模型对光场结构进行编码，利用光场的视差信息来设计patch先验。为光场去噪，光场空间、角度超分辨等任务提供了一个通用的框架。2014年，Wanner[10]等人设计一个连续的框架来 分析4D光场，描述了视差重建以及空间和角度超分辨率的新变分方法，并使用凸优化算法加快了网络的重建速度。2018年，Alain等人[11]将单图像超分辨 率（singleimagesuperresolution，SISR）滤波器BM3D[12]扩展到光场去噪滤波器LFBM5D，将两者 相结合用于LFSSR中。基于优化的方法虽然可以对光场结构进行编码，但是手工制作图像先验的表示能力较差。上述两种传统方法存在操作复杂、重建质量不佳等问题。基于深度学习的LFSR方法通过学习低分辨光场图像与高分辨光场图像之间的映射关系，来充分的利用光场的空间信息和角度信息，在性能上得到较大的突破。近年来，大量基于深度学习的LFSR方法被提出，但目前没有相关的综述文章。本文针对近几年基于深度学习的LFSR算法进行了全面的综述，以期为LFSR领域的初学者提供参考。

文章余下部分组织如下：第2节阐述光场的基本理论。第3节详细梳理了LFSSR、LFASR和LFSASR三类算法。第4节介绍了LFSR常用数据集和评价指标。第5节对上述三类典型算法进行了定量和定性分析。第6节总结了LFSR领域面临的挑战，并展望其未来研究方向。第7节对全文进行了总结。

2 光场

光场概念最早是在1936年被Greshun[13]提出。1981年Moon[14]提出―PhoticField‖的概念后，光场技术才开始被研究者关注。1991年Adelson[15]提出用7D全光函数来表示光场，如公式(1)所示：

F7D=L(x,y,z,θ,Q,λ,t)（1）

其中(x，y，z)为光线位置，(θ,Φ)为角度、(λ)为波长、(t)为时间，F7D表示7D全光光函数。由于7D全光函数计算处理比较困难，Bishop[16]假设光线的波长不变，且场景不随时间变化，将7D全光函数简化为5D函数，如公式(2)所示：

F5D=L(x,y,z,θ,Q)（2）

其中（x，y，z）为光线的位置坐标，(θ,Φ)为角度方向，F5D为5D全光函数。然而5D函数存在冗余，且使重建函数变得复杂。如图1所示，1996年Levoy[17]假设两个平行的平面，如果一条光线与这两个平面各有一个交点，则可以用这两个交点唯一的表示光线，提出了4D光场表示，表示为公式(3)：

F4D=L(u,v,s,t)（3）

其中(s，t)和(u，v)表示光线在空间平面p1和角度平面p2上的交点，F4D为4D函数。

光场的采集最初是使用昂贵且体积庞大的相机阵列。随后基于微透镜阵列的手持光场相机[18]和面向工业应用的全光学聚焦型光场相机[19]，以及基于多焦距微透镜的[20]、基于掩膜的[21]和基于多传感器捕获[22]的光场相机逐渐被提出，使得光场的采集更便捷、更高效。4D光场的采集通常运用2D传感器实现，所以光场的可视化也通过2D图像集合的方法来表示。不同的采集方式，其可视化形式也不同，如图2所示，为光场的子孔径图像可视化表示。更多光场的表示模型，可参考李亚宁等人[23]的文献。