1. 什么是OpticFlow

光流是空间运动物体在观察成像平面上的像素运动的瞬时速度,是利用图像序列中像素在时间域上的变化以及相邻帧之间的相关性来找到上一帧跟当前帧之间存在的对应关系,从而计算出相邻帧之间物体的运动信息的一种方法。一般而言,光流是由于场景中前景目标本身的移动、相机的运动,或者两者的共同运动所产生的。
由上图我们可以看出,其实光流的信息就是某个关键点在两帧图像上的位移信息,在x轴上的位移为u,在y轴上的位移为v,最终的光流表示为(u, v)。
而稠密光流则为每个像素点在x轴和y轴上的位移。
2. 稠密光流的格式
假设我们第一张图像名字为img1,大小为(256, 256, 3),第二张图像名字为img2,并且应当与第一张图像具有同样的大小。那么,我们最终得到的光流flow的大小为(256, 256, 2),其中,2表示每个像素点的(u, v)两个数值。、
注意,在numpy和pytorch中的格式略有不同,分别为:
- numpy:img=(256, 256, 3), flow=(256, 256, 3);
- pytorch: img=(3, 256, 256), flow=(2, 256, 256)

本文深入探讨了光流的概念,详细解释了稠密光流的格式及其实现方式,介绍了如何使用OpenCV和Pytorch进行光流估算,包括不同算法的选择和光流的可视化,以及如何预测下一帧图像。
最低0.47元/天 解锁文章
1083

被折叠的 条评论
为什么被折叠?



