文章精读：(CVPR2024)DemosaicFormer：用于HybridEVS相机的粗到细去马赛克网络

(CVPR2024)DemosaicFormer：用于HybridEVS相机的粗到细去马赛克网络

原文链接：paper

混合基于事件的视觉传感器（HybridEVS）是一种新型传感器，集成了传统的基于帧和基于事件的传感器，为需要低光照、高动态范围和低延迟环境的应用提供了巨大的优势，例如智能手机和可穿戴设备。

尽管它有潜力，但缺乏专门为HybridEVS设计的图像信号处理（ISP）管道构成了一个重大挑战。为了解决这个挑战，在这项研究中，提出了一种由粗到精的去马赛克框架DemosaicFormer，它包括粗去马赛克和像素校正两部分，粗去马赛克网络用于产生初步的高分辨率图像，像素校正网络增强了图像恢复的性能，减轻了缺陷像素的影响。我们的关键创新是多尺度选通模块（MSGM）的设计。应用跨尺度特征的集成，这允许特征信息在不同尺度之间流动。

实验结果表明，与现有方法相比，该方法在定性和视觉上都具有上级性能，并且在MIPI 2024 Hybridevs Camera Democracy挑战赛中，该方法在所有评价指标上都达到了最佳性能。

代码可以在此存储库中找到。

Introduction

• 基于事件的视觉传感器（Event-Based Vision Sensor，EVS）异步检测亮度变化并立即输出事件数据，具有低功耗、高灵敏度的优点，适合捕捉高动态范围的视觉信息而不产生模糊，但无法捕捉颜色信息极大地限制了事件摄像机的应用范围。

• 混合基于事件的视觉传感器（HybridEVS）[11]是一种新颖的混合传感器由传统的基于帧的传感器和基于事件的传感器结合而成。它结合了这些传感器的优点，提供高时间分辨率、低延迟和出色的动态范围，同时仍然以更高的信噪比（SNR）捕获颜色信息。与传统传感器相比，HybridEVS由于其混合设计，在更广泛的应用中表现得更好。四拜耳模式，如图1（a）所示，是智能手机摄像头中广泛采用的一种常见模式，因为它能够通过对2 × 2邻域内的四个像素进行平均来获得低光照下的高质量图像。虽然在合并模式下信噪比（SNR）得到了改善，但空间分辨率作为折衷而降低。缺陷像素是由传感器的制造工艺造成的缺陷，在光电转换过程中某些像素值不准确。
  

图1.两种不同模式和去马赛克任务的图示。（a）四拜耳模式。（B）HybridEVS模式。（c）HybridEVS相机任务的去马赛克是指将HybridEVS模式原始数据转换为RGB图像。