EventSR: From Asynchronous Events to Image Reconstruction, Restoration, and Super-Resolution via End-to-End Adversarial Learning
数据集:https://github.com/wl082013/ESIM_dataset.
还没有Github
EventSR:从异步事件到图像重建、恢复和通过端到端对抗性学习实现超分辨率
问题
所有三个阶段的真实数据都没有GT图像,事件相机从时间流中重建图片,会造成问题
方法
- 我们提出EventSR以一种无监督的方式学习从事件到SR图像的映射。
- 为了训练EventSR中,我们制作了一个开放数据集,包括模拟场景和真实场景。
- 从纯事件流中重建、恢复(如去噪/去模糊)和超分辨强度图像
没有解决的问题
事件如何影响EventSR的总体性能
两种数据集的使用提高了网络性能,各阶段的网络架构和各种损失函数有助于提高图像质量。
什么是事件相机
事件相机是仿生学的传感器,在事件发生时感知强度的变化,并产生异步事件流,而传统相机以固定的帧率捕捉强度变化。
事件相机(例如DAVIS 240)具有非常高的动态范围(HDR) (140dB)、无运动模糊和高时间分辨率(1小秒)等明显优势,而且已经证明,单独的事件相机足以执行高级任务,如目标检测
,跟踪,SLAM。
有源像素传感器(APS)图像具有低动态范围,低LR和模糊。因此,重建的图像通常是LR和伪影。虽然活动摄像机的聚焦HR,即球形HR图像拼接和HR事件全景,分别没有考虑图像-平面HR强度图像重建及其感知现实性。