【OpenCV】(十九)光流估计-优快云博客

系列内容:OpenCV概述与环境配置,OpenCV基础知识和绘制图形,图像的算数与位运算,图像视频的加载和显示,图像基本变换,滤波器,形态学,图像轮廓,图像直方图,车辆统计项目,特征检测和匹配,图像查找和拼接,虚拟计算器项目,信用卡识别项目,图像的分割与修复,人脸检测与车牌识别,目标追踪,答题卡识别判卷与文档ocr扫描识别,光流估计

光流，顾名思义，光的流动。比如人感受到的夜空中划过的流星。在计算机视觉中，定义图像中对象的移动，这个移动可以是相机移动或者物体移动引起的。具体是指，视频图像的一帧中的代表同一对象(物体)像素点移动到下一帧的移动量，使用二维向量表示。

光流如图19.1所示:

根据是否选取图像稀疏点进行光流估计，可以将光流估计分为稀疏光流和稠密光流。

OpenCV中提供了光流估计的接口，包括稀疏光流估计算法cv2.calcOpticalFlowPyrLK()，和稠密光流估计cv2.calcOpticalFlowFarneback()。其中稀疏光流估计算法为Lucas-Kanade算法，该算法为1981年由Lucas和Kanade两位科学家提出的，最为经典也较容易理解的算法。

传统算法 Lucas-Kanade

为了将光流估计进行建模，Lucas-Kanade做了三个重要的假设：

(1)亮度恒定：同一点随着时间的变化，其亮度不会发生改变。
(2)小运动：随着时间的变化不会引起位置的剧烈变化，只有小运动情况下才能用前后帧之间单位位置变化引起的灰度变化去近似灰度对位置的偏导数。
(3)空间一致：一个场景上邻近的点投影到图像上也是邻近点，且邻近点速度一致。因为光流法基本方程约束只有一个，而求x，y方向的速度，有两个未知变量。所以需要连立n多个方程求解。

传统算法 Lucas-Kanade如图19.2所示:

约束方程:

$I(x, y, t) = I(x + dx, y + dy, t + dt) \\ = I(x, y, t) + \frac{\partial I}{\partial x} dx + \frac{\partial I}{\partial y} dy + \frac{\partial I}{\partial t} dt \\ I_x dx + I_y dy + I_t dt = 0$

$I_x u + I_y v = -I_t \Longrightarrow \begin{bmatrix} I_x & I_y \end{bmatrix} \cdot \begin{bmatrix} u \\ v \end{bmatrix} = -I_t$

矩阵表示,如图19.3所示:

最小二乘法,如图19.4所示:

cv2.calcOpticalFlowPyrLK()

参数：

prevImage：前一帧图像
nextImage：当前帧图像
prevPts：待跟踪的特征点向量
winSize：搜索窗口的大小
maxLevel：最大的金字塔层数

nextPts：输出跟踪特征点向量
status：特征点是否找到，找到的状态为1，未找到的状态为0

示例代码:

import numpy as np
import cv2
#读取视频
cap=cv2.VideoCapture('./vehicles.mp4')
#读第一帧图片
ret,old_frame=cap.read()
#变成黑白
old_gray=cv2.cvtColor(old_frame,cv2.COLOR_BGR2GRAY)
#检测角点
feature_params=dict(
    maxCorners=100,
    qualityLevel=0.3,
    minDistance=7
)
p0=cv2.goodFeaturesToTrack(old_gray,mask=None,**feature_params)

#创建一个mask
mask=np.zeros_like(old_frame)

#随机颜色
color=np.random.randint(0,255,(100,3))

while True:
    ret,frame=cap.read()
    if frame is None:
        break
    gray=cv2.cvtColor(frame,cv2.COLOR_BGR2GRAY)

    #光流估计
    p1,st,err=cv2.calcOpticalFlowPyrLK(old_gray,gray,p0,None,winSize=(15,15),maxLevel=2)

    #哪些特征点找到,哪些未找到
    good_new=p1[st==1]
    good_old=p0[st==1]

    #绘制轨迹
    for i, (new,old) in enumerate(zip(good_new,good_old)):
        a,b=new.ravel()
        c,d=old.ravel()
        a,b,c,d = int(a),int(b),int(c),int(d)
        mask=cv2.line(mask,(a,b),(c,d),color[i].tolist(),2)
        frame=cv2.circle(frame,(a,b),5,color[i].tolist(),-1)

    img=cv2.add(frame,mask)

    cv2.imshow('frame',img)
    key=cv2.waitKey(150)
    if key==27:
        break

    #更新
    old_gray=gray.copy()
    p0=good_new.reshape(-1,1,2)

cv2.destroyAllWindows()
cap.release()

运行结果:

车辆光流,如图19.5所示: