今天首度解读一篇CVPR19 oral论文,利用事件相机将模糊视频还原成高速清晰视频。该文利用了目前火热的事件相机,巧妙的利用多传感器之间的互补特性,且具有很好的推广应用价值。过去大家做图像的去模糊,一般只会考虑普通相机采集到的图片,通过估计模糊的核函数,来为图像做去模糊,而这里引入了一个高速的事件相机,通过两个有互补特性的sensor, 为其特性和两者采集数据之间的关系进行建模,把问题formulate成一个简单的非凸优化的问题,
Bringing a Blurry Frame Alive at High Frame-Rate with an Event Camera
Liyuan Pan 1,2, Cedric Scheerlinck1,2, Xin Yu1,2, Richard Hartley1,2, Miaomiao Liu1,2, and Yuchao Dai3
1 Research School of Engineering, Australian National University, Canberra, Australia
2 Australia Centre for Robotic Vision
3 School of Electronics and Information, Northwestern Polytechnical University, Xi’an, China
摘要
事件像机可以测量在高速下精确到微秒的运动和照明变化下的强度变化(称为“事件”)。与主动式像素传感器(APS)相比,事件相机允许同时输出强度帧。然而,当相机输出图像帧率相对较低,图像中的运动模糊就比较严重。一个模糊的图像可以看作是一个序列的潜在图像的积分,而事件相机能找出潜在图像之间的变化。因此,我们能够通过在潜图像上关联事件数据来对模糊生成过程建模。在本文中,我们提出一种简单有效的基于事件的方法,基于事件的二重积分模型,从一个模糊的帧及其事件数据中,重建高帧率的清晰视频。这种视频的生成基于求解一个简单的单标量的非凸优化问题。通过合成图像和真实图像的实验结果论证了该模型的优越性和并且该方法已经超过了当前最好水平。
事件相机(如动态视觉传感器)(DVS)[17]和动态像