DAViS Camera Optical Flow [论文解读]

该文提出一种专为DAViS设备设计的光流算法,结合DVS的高时间分辨率和APS的高空间分辨率,提高了光流计算的精度。通过分析DVS光流的难点和传统光流的局限,文章介绍了如何从DVS和APS中获取时间和空间导数,进而计算运动场。实验结果显示,DAViS-OF方法在处理快速运动和遮挡情况时,相比传统光流方法表现出更高的准确性和可靠性。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

介绍

现有rgb光流方案大多来自由LK光流发展而来的差分图像模型,但不能处理告诉运动引起的大位移和遮挡,简单提高帧率不显示。本文是专为Davis设备设计的光流算法,结合DVS的高时间解析力和APS的高空间解析力优势,得到比传统光流算法更高精度的光流。
DVS 光流的难点:

  • LK光流中亮度不变性假设不满足
  • dvs中没有帧概念

贡献

  • 从DVS和APS中得到时间和空间导数,再用传统OF方法计算运动场
  • 利用DVS的时间分辨率,恢复了每个 APS 帧的近瞬时时间导数。改进了对快速和复杂运动的处理,同时也改善估计 OF 的空间定位的效果

背景

  • Frame-based 光流

    • 亮度一致性假设
      在这里插入图片描述

    • 一阶泰勒展开得到 光流等式
      在这里插入图片描述

    • 式2是一个欠定问题,通过引入额外的约束来优化
      在这里插入图片描述

    • 局部空间连续性被引入用于约束位移量对时间的导数V
      在这里插入图片描述

  • DVS

    • 提高相机的帧率可以减小 ΔX 和 Δt 的效果,以提高式2中的近似性,并减少图像受遮挡影响的区域。
    • DVS 缺乏与场景对象的辐射值相对应的像素强度,不满足亮度一致性假设,因此对传统光流方法不友好

Davis 光流计算

  • log强度幅值
    在这里插入图片描述
  • events信号的产生
    在这里插入图片描述
    log强度的异步信号:当变化幅度超过阈值时,产生下一个信号,信号幅度为极性信号,反应亮度变亮还是变暗
  • 从events信号恢复log幅度信号J
    在这里插入图片描述

本文提出的 OF 算法的输出速率处于 APS 的同步帧速率,比 DVS 的异步输出慢。 但是基于 DAViS 的 OF 远远超过了仅从 DVS 或 APS 输出计算的估计光流向量的可靠性、准确性和分辨率

调整一下顺序,从算法讲起,不然推导太长
在这里插入图片描述

  • 输入输出
    输入:APS帧 I 和DVS events
    输出:运动向量 V

  • 算法涉及的变量及公式解释
    在这里插入图片描述
    #{ } 为集合的元素个数

    • M k ( X )
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值