介绍
现有rgb光流方案大多来自由LK光流发展而来的差分图像模型,但不能处理告诉运动引起的大位移和遮挡,简单提高帧率不显示。本文是专为Davis设备设计的光流算法,结合DVS的高时间解析力和APS的高空间解析力优势,得到比传统光流算法更高精度的光流。
DVS 光流的难点:
- LK光流中亮度不变性假设不满足
- dvs中没有帧概念
贡献
- 从DVS和APS中得到时间和空间导数,再用传统OF方法计算运动场
- 利用DVS的时间分辨率,恢复了每个 APS 帧的近瞬时时间导数。改进了对快速和复杂运动的处理,同时也改善估计 OF 的空间定位的效果
背景
-
Frame-based 光流
-
亮度一致性假设
-
一阶泰勒展开得到 光流等式
-
式2是一个欠定问题,通过引入额外的约束来优化
-
局部空间连续性被引入用于约束位移量对时间的导数V
-
-
DVS
- 提高相机的帧率可以减小 ΔX 和 Δt 的效果,以提高式2中的近似性,并减少图像受遮挡影响的区域。
- DVS 缺乏与场景对象的辐射值相对应的像素强度,不满足亮度一致性假设,因此对传统光流方法不友好
Davis 光流计算
- log强度幅值
- events信号的产生
log强度的异步信号:当变化幅度超过阈值时,产生下一个信号,信号幅度为极性信号,反应亮度变亮还是变暗 - 从events信号恢复log幅度信号J
本文提出的 OF 算法的输出速率处于 APS 的同步帧速率,比 DVS 的异步输出慢。 但是基于 DAViS 的 OF 远远超过了仅从 DVS 或 APS 输出计算的估计光流向量的可靠性、准确性和分辨率
调整一下顺序,从算法讲起,不然推导太长
-
输入输出
输入:APS帧 I 和DVS events
输出:运动向量 V -
算法涉及的变量及公式解释
#{ } 为集合的元素个数- M k ( X )