光流

1：光流

光流是运动的物体或摄像头产生的两个连续帧之间的图像运动模型，是前一帧与后一帧之间点运动的2d位移向量。

该图显示了一个球的5个连续帧，箭头示出了位移矢量。

光流的领域中具有许多应用，如：

1，运动结构

2，视频压缩

3，视频稳定

……

光流的几个假设：

1，两个连续帧的像素强度不变

2，邻近的像素有类似的运动

考虑第一帧有一个像素I（x，y，t）[维度，事件因素]，在dt时间内到了下一帧，位移了（dx，dy），所有的像素不变，强度也不变，我们就说：

等式右边取泰勒级数近似值，移除同类项，除以dt，等到等式：

设：

得到等式

（我们只是程序员，这样的专业数学转换，了解就好）

这就是光流等式。

从fx与fy是图像渐变梯度，ft是随时间变化的，但是（u，v）是未知的，我们无法搞定一个等式两个未知数，但有一些方法提供解决方案，比如：Lucas-Kanade

2：Lucas-Kanade 方法

按照之前的假设所有的像素都有相似的运动方式。Lucas-Kanade使用3X3点阵，这样就有了一样运动的9个点，取这9个点的（fx，fy，ft），这样问题就变成9个等式求两个变量了。较好的就是用最少的等式来解决。
下面是两个等式连个未知数的解决方案

（跟haari 焦点检测的逆矩阵相似，这表示角点事不错的跟踪点）

所以从用户的角度来看,想法很简单，从接受的光流矢量点，我们取一些点来跟踪。但是仍然有一些问题，我们解决的相似运动点，但这在大动作理是失效的。因此，要使用金字塔，金字塔使大动作变成小动作，成了相似运动的点。

3，在OpenCV 中的 Lucas-Kanade 光流

opencv 提供了cv2.calcOpticalFlowPyrLK()，可以创建一个应用来跟踪视频中的点。

cv2.goodFeaturesToTrack()，获取需要跟踪的点。通过第一帧取一些Shi-Tomasi 角点，然后用Lucas-Kanade迭代跟踪这些点。

cv2.calcOpticalFlowPyrLK（），需要传入前一帧，前一帧点集，下一帧，找到点集，否者为0.

import numpy as np
import cv2

cap = cv2.VideoCapture('slow.flv')

# params for ShiTomasi corner detection
feature_params = dict( maxCorners = 100,
                       qualityLevel = 0.3,
                       minDistance = 7,
                       blockSize = 7 )

# Parameters for lucas kanade optical flow
lk_params = dict( winSize  = (15,15),
                  maxLevel = 2,
                  criteria = (cv2.TERM_CRITERIA_EPS | cv2.TERM_CRITERIA_COUNT, 10, 0.03))

# Create some random colors
color = np.random.randint(0,255,(100,3))

# Take first frame and find corners in it
ret, old_frame = cap.read()
old_gray = cv2.cvtColor(old_frame, cv2.COLOR_BGR2GRAY)
p0 = cv2.goodFeaturesToTrack(old_gray, mask = None, **feature_params)

# Create a mask image for drawing purposes
mask = np.zeros_like(old_frame)

while(1):
    ret,frame = cap.read()
    frame_gray = cv2.cvtColor(frame, cv2.COLOR_BGR2GRAY)

    # calculate optical flow
    p1, st, err = cv2.calcOpticalFlowPyrLK(old_gray, frame_gray, p0, None, **lk_params)

    # Select good points
    good_new = p1[st==1]
    good_old = p0[st==1]

    # draw the tracks
    for i,(new,old) in enumerate(zip(good_new,good_old)):
        a,b = new.ravel()
        c,d = old.ravel()
        mask = cv2.line(mask, (a,b),(c,d), color[i].tolist(), 2)
        frame = cv2.circle(frame,(a,b),5,color[i].tolist(),-1)
    img = cv2.add(frame,mask)

    cv2.imshow('frame',img)
    k = cv2.waitKey(30) & 0xff
    if k == 27:
        break

    # Now update the previous frame and previous points
    old_gray = frame_gray.copy()
    p0 = good_new.reshape(-1,1,2)

cv2.destroyAllWindows()
cap.release()

代码没有矫正下一帧的关键点，所以图像上上找到的点都是近似的相近点。良好的跟踪中，角点是需要时间隔提取的。opencv提供一个间隔5帧的范例。samples/python2/lk_track.py

上面的代码得到这样的图片：

4，opencv 中的密集光流

Lucas-Kanade 方法计算的流是稀疏的集（范例中使用Shi-Tomasi算法）。opencv 提供了另一种密集算法，计算了帧中的所有角点，Gunner Farneback算法，2003年论文“Two-Frame Motion Estimation Based on Polynomial Expansion”。

下面使用这种密集算法。

取得视频流中的两个通道的向量，这样就有了大小与方向。为了可分辨，添加了颜色。方向对应色调，大小对应数值板。

import cv2
import numpy as np
cap = cv2.VideoCapture("vtest.avi")

ret, frame1 = cap.read()
prvs = cv2.cvtColor(frame1,cv2.COLOR_BGR2GRAY)
hsv = np.zeros_like(frame1)
hsv[...,1] = 255

while(1):
    ret, frame2 = cap.read()
    next = cv2.cvtColor(frame2,cv2.COLOR_BGR2GRAY)

    flow = cv2.calcOpticalFlowFarneback(prvs,next, None, 0.5, 3, 15, 3, 5, 1.2, 0)

    mag, ang = cv2.cartToPolar(flow[...,0], flow[...,1])
    hsv[...,0] = ang*180/np.pi/2
    hsv[...,2] = cv2.normalize(mag,None,0,255,cv2.NORM_MINMAX)
    rgb = cv2.cvtColor(hsv,cv2.COLOR_HSV2BGR)

    cv2.imshow('frame2',rgb)
    k = cv2.waitKey(30) & 0xff
    if k == 27:
        break
    elif k == ord('s'):
        cv2.imwrite('opticalfb.png',frame2)
        cv2.imwrite('opticalhsv.png',rgb)
    prvs = next

cap.release()
cv2.destroyAllWindows()

opencv 有更多密集视频流的案例 ，查看 samples/python2/opt_flow.py