【OpenCV】86 视频分析—稠密光流分析

86 视频分析—稠密光流分析

代码

import cv2 as cv
import numpy as np
cap = cv.VideoCapture("../images/vtest.avi")
ret, frame1 = cap.read()
prvs = cv.cvtColor(frame1,cv.COLOR_BGR2GRAY)
hsv = np.zeros_like(frame1)
hsv[...,1] = 255
while(1):
    ret, frame2 = cap.read()
    next = cv.cvtColor(frame2,cv.COLOR_BGR2GRAY)
    flow = cv.calcOpticalFlowFarneback(prvs,next, None, 0.5, 3, 15, 3, 5, 1.2, 0)
    mag, ang = cv.cartToPolar(flow[...,0], flow[...,1])
    hsv[...,0] = ang*180/np.pi/2
    hsv[...,2] = cv.normalize(mag,None,0,255,cv.NORM_MINMAX)
    bgr = cv.cvtColor(hsv,cv.COLOR_HSV2BGR)
    cv.imshow('frame2',bgr)
    k = cv.waitKey(30) & 0xff
    if k == 27:
        break
    elif k == ord('s'):
        cv.imwrite('opticalfb.png',frame2)
        cv.imwrite('opticalhsv.png',bgr)
    prvs = next
cap.release()
cv.destroyAllWindows()

实验结果

解释

光流跟踪方法分为稠密光流跟踪与稀疏光流跟踪算法，KLT是稀疏光流跟踪算法，前面我们已经介绍过了，OpenCV还支持稠密光流的移动对象跟踪方法，OpenCV中支持的稠密光流算法是由Gunner Farneback在2003年提出来的，它是基于前后两帧所有像素点的移动估算算法，其效果要比稀疏光流算法更好，相关的API如下：

flow = cv.calcOpticalFlowFarneback(prev, next, flow, pyr_scale, levels, winsize, iterations, poly_n, poly_sigma, flags)

• prev 前一帧
• next 后一帧
• flow 光流，计算得到的移动能量场
• pyr_scale 金字塔放缩比率
• levels 金字塔层级数目
• winsize 表示窗口大小
• iterations 表示迭代次数
• poly_n 表示光流生成时候，对邻域像素的多项式展开，n越大越模糊越稳定
• poly_sigma 表示光流多项式展开时候用的高斯系数，n越大，sigma应该适当增加
• flags有两个OPTFLOW_USE_INITIAL_FLOW表示使用盒子模糊进行初始化光流
  OPTFLOW_FARNEBACK_GAUSSIAN表示使用高斯窗口

---

所有内容均来源于贾志刚老师的知识星球——OpenCV研习社，本文为个人整理学习，已获得贾老师授权，有兴趣、有能力的可以加入贾老师的知识星球进行深入学习。