DAViS Camera Optical Flow [论文解读]

介绍

现有rgb光流方案大多来自由LK光流发展而来的差分图像模型，但不能处理告诉运动引起的大位移和遮挡，简单提高帧率不显示。本文是专为Davis设备设计的光流算法，结合DVS的高时间解析力和APS的高空间解析力优势，得到比传统光流算法更高精度的光流。
DVS 光流的难点：

• LK光流中亮度不变性假设不满足
• dvs中没有帧概念

贡献

• 从DVS和APS中得到时间和空间导数，再用传统OF方法计算运动场
• 利用DVS的时间分辨率，恢复了每个 APS 帧的近瞬时时间导数。改进了对快速和复杂运动的处理，同时也改善估计 OF 的空间定位的效果

背景

• Frame-based 光流

  • 亮度一致性假设
    

  • 一阶泰勒展开得到 光流等式
    

  • 式2是一个欠定问题，通过引入额外的约束来优化
    

  • 局部空间连续性被引入用于约束位移量对时间的导数V
    

• DVS

  • 提高相机的帧率可以减小 ΔX 和 Δt 的效果，以提高式2中的近似性，并减少图像受遮挡影响的区域。
  • DVS 缺乏与场景对象的辐射值相对应的像素强度，不满足亮度一致性假设，因此对传统光流方法不友好

Davis 光流计算

• log强度幅值
  
• events信号的产生
  
  log强度的异步信号：当变化幅度超过阈值时，产生下一个信号，信号幅度为极性信号，反应亮度变亮还是变暗
• 从events信号恢复log幅度信号J
  

本文提出的 OF 算法的输出速率处于 APS 的同步帧速率，比 DVS 的异步输出慢。 但是基于 DAViS 的 OF 远远超过了仅从 DVS 或 APS 输出计算的估计光流向量的可靠性、准确性和分辨率

调整一下顺序，从算法讲起，不然推导太长

• 输入输出
  输入：APS帧 I 和DVS events
  输出：运动向量 V

• 算法涉及的变量及公式解释
  
  #{ } 为集合的元素个数

  • M k ( X )