【开源代码】运动模糊时准确检测和定位线段，通用的帧事件特征融合网络

原创

已于 2023-01-10 10:16:59 修改 · 410 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#SLAM，计算机视觉

于 2023-01-09 11:22:49 首次发布

本文提出了一种利用图像和事件互补信息的帧事件特征融合网络，以增强运动模糊图像中线段的检测和定位。通过结合低延迟事件边缘和图像纹理，该方法在FE-Wireframe和FE-Blurframe数据集上显示出显著的性能提升，特别是在真实数据上的msAP达到63.3%，提高了32.6和11.3个百分点。

#论文##开源代码# Detecting Line Segments in Motion-blurred Images with Events

作者单位：武汉大学

使线段检测器在运动模糊下更可靠是视觉 SLAM 和 3D 重建等实际应用中最重要的挑战之一。现有的线段检测方法在发生运动模糊时准确检测和定位线段面临严重的性能下降。虽然事件数据显示出与图像的强烈互补特征，可在高时间分辨率下实现最小的模糊和边缘感知，但可能有利于可靠的线段识别。为了鲁棒地检测运动模糊上的线段，我们提出利用图像和事件的互补信息。为此，我们首先设计了一个通用的帧事件特征融合网络来提取和融合详细的图像纹理和低延迟事件边缘，它由一个基于通道注意力的浅层融合模块和一个基于自注意力的对偶模块组成沙漏模块。然后，我们利用两个最先进的线框解析网络来检测融合特征图上的线段。此外，我们为线段检测提供了一个合成的和真实的数据集，即 FE-Wireframe 和 FE-Blurframe，具有成对的运动模糊图像和事件。

对两个数据集的大量实验证明了所提出方法的有效性。在真实数据集上进行测试时，我们的方法在 FE-Wireframe 上预训练并在 FE-Blurframe 上微调的模型实现了 63.3% 的平均结构平均精度 (msAP)，与在合成模型上训练的模型相比分别提高了 32.6 和 11.3 个百分点。

本文贡献如下：

1、通过引入事件辅助运动模糊图像进行线段检测，可以鲁棒地解决运动模糊引起的性能下降问题。融合图像和事件的思想充分利用了它们的低延迟事件边缘和详细的图像纹理的互补特性，从而有效地提高了对不同相机运动的直线检测的准确性和鲁棒性。

2、通用的帧事件特征融合网络旨在从图像和事件中提取和融合信息。浅层融合和多尺度解码器融合的串联充分探索了通道注意和自注意机制，从而增强了事件和帧的特征提取。

3、构建了两个帧事件线段检测数据集，即合成 FE-Wireframe 和真实世界 FE-Blurframe，用于运动模糊图像中的线段检测。足够的定性和定量比较证明了所提出方法的有效性和鲁棒性。