【OpenCV笔记】光流法之金字塔Lucas-Kanade

转自：https://blog.youkuaiyun.com/qq_33389308/article/details/83049479

本文参考链接：https://blog.youkuaiyun.com/zy122121cs/article/details/44955353
参考论文：”Pyramidal Implementation of the Lucas Kanade Feature TrackerDescription of the algorithm”

一、金字塔光流法介绍

光流金字塔即对图像进行分层处理，一般来说不算原始图像（最底层）的话分为四层就能满足需求，按照论文中的话说就是超过4层在大多数情况下没有意义。如果原始图像的大小为640x480，那么分为4层的大小分别为320x240，160x120，80x60，40x30。
如下图所示：
 

金字塔分层

接下来对金字塔光流法的过程进行简单描述，期间不会出现任何数学公式，对公式有兴趣的小伙伴可以直接搜索查阅参考文献的论文。
首先展示一张图：

金字塔光流的过程

我们对视频中点的跟踪实际上是对相邻两帧的图像进行处理，设图像I和J为相邻两帧的图像，我们希望在图像J中找到u0的对应点v，那么首先对两幅图像进行分层，假设如上图分为3层，如此可以分别计算得到u1、u2、u3。
对于金字塔我们从最高层开始进行处理， u3在图像J中的对应初始点为v31（v31和u3是相等的，图画的不太准），然后通过某种计算符合相应的条件后，得到当前层最小误差点v3n（n表示经过n次计算）和相应的光流。然后利用计算得到的光流能够在图像J中找到点v21作为第二层的初始点，以此类推进行和第3层一样的迭代计算最终能够获得包含各层光流分量的总光流，就能得到最终的对应点v0r。

注：1.某种计算具体见论文。
       2.相应条件包含两种，一是达到设置的迭代次数上限，二是计算结果符合精确度阈值。这在opencv的函数中有体现。
       3.论文中能够得到一些参数设置信息，迭代次数一般设置为5次即可（但是opencv中默认为30次），金字塔层数≤4，搜索窗大小为奇数x奇数。

 

二、OpenCV金字塔光流函数介绍

函数声明如下：

1. CV_EXPORTS_W void calcOpticalFlowPyrLK( InputArray prevImg, InputArray nextImg,

2. InputArray prevPts, InputOutputArray nextPts,

3. OutputArray status, OutputArray err,

4. Size winSize = Size(21,21), int maxLevel = 3,

5. TermCriteria criteria = TermCriteria(TermCriteria::COUNT+TermCriteria::EPS, 30, 0.01),

6. int flags = 0, double minEigThreshold = 1e-4 );

函数参数介绍

InputArray prevImg	前一幅图像
InputArray nextImg	后一幅图像
InputArray prevPts	vector，前一幅图像中想要跟踪的点集
InputOutputArray nextPts	vector，后一幅图像中计算得到的对应点集
OutputArray status	vector，记录状态，如果对应点的光流被搜索到则将对应点置1
OutputArray err	vector，记录每个特征点的误差，如果光流没有被计算出来，不会有误差
Size winSize = Size(21,21)	搜索窗的大小，如前所述为奇数x奇数
int maxLevel = 3	金字塔的层数
TermCriteria criteria = TermCriteria(TermCriteria::COUNT+TermCriteria::EPS, 30, 0.01)	迭代停止条件，默认设置为30次迭代或者阈值0.01
int flags = 0	默认值为0，表示不设置此标记。有如下标记可以选择 OPTFLOW_USE_INITIAL_FLOW     = 4, OPTFLOW_LK_GET_MIN_EIGENVALS = 8, OPTFLOW_FARNEBACK_GAUSSIAN   = 256
double minEigThreshold = 1e-4	作为阈值可以过滤掉一些不好的特征点以提升性能

三、官方例程
 

1. #include "opencv2/video/tracking.hpp"

2. #include "opencv2/imgproc.hpp"

3. #include "opencv2/videoio.hpp"

4. #include "opencv2/highgui.hpp"

5.  

6. #include <iostream>

7. #include <ctype.h>

8.  

9. using namespace cv;

10. using namespace std;

11.  

12. static void help()

13. {

14. // print a welcome message, and the OpenCV version

15. cout << "\nThis is a demo of Lukas-Kanade optical flow lkdemo(),\n"

16. "Using OpenCV version " << CV_VERSION << endl;

17. cout << "\nIt uses camera by default, but you can provide a path to video as an argument.\n";

18. cout << "\nHot keys: \n"

19. "\tESC - quit the program\n"

20. "\tr - auto-initialize tracking\n"

21. "\tc - delete all the points\n"

22. "\tn - switch the \"night\" mode on/off\n"

23. "To add/remove a feature point click it\n" << endl;

24. }

25.  

26. Point2f point;

27. bool addRemovePt = false;

28.  

29. static void onMouse( int event, int x, int y, int /*flags*/, void* /*param*/ )

30. {

31. if( event == EVENT_LBUTTONDOWN )

32. {

33. point = Point2f((float)x, (float)y);

34. addRemovePt = true;

35. }

36. }

37.  

38. int main( int argc, char** argv )

39. {

40. VideoCapture cap;

41. TermCriteria termcrit(TermCriteria::COUNT|TermCriteria::EPS,20,0.03);

42. Size subPixWinSize(10,10), winSize(31,31);

43.  

44. const int MAX_COUNT = 500;

45. bool needToInit = false;

46. bool nightMode = false;

47.  

48. help();

49. cv::CommandLineParser parser(argc, argv, "{@input|0|}");

50. string input = parser.get<string>("@input");

51.  

52. if( input.size() == 1 && isdigit(input[0]) )

53. cap.open(input[0] - '0');

54. else

55. cap.open(input);

56.  

57. if( !cap.isOpened() )

58. {

59. cout << "Could not initialize capturing...\n";

60. return 0;

61. }

62.  

63. namedWindow( "LK Demo", 1 );

64. setMouseCallback( "LK Demo", onMouse, 0 );

65.  

66. Mat gray, prevGray, image, frame;

67. vector<Point2f> points[2];

68.  

69. for(;;)

70. {

71. cap >> frame;

72. if( frame.empty() )

73. break;

74.  

75. frame.copyTo(image);

76. cvtColor(image, gray, COLOR_BGR2GRAY);

77.  

78. if( nightMode )

79. image = Scalar::all(0);

80.  

81. if( needToInit )

82. {

83. // automatic initialization

84. goodFeaturesToTrack(gray, points[1], MAX_COUNT, 0.01, 10, Mat(), 3, 0, 0.04);

85. cornerSubPix(gray, points[1], subPixWinSize, Size(-1,-1), termcrit);

86. addRemovePt = false;

87. }

88. else if( !points[0].empty() )

89. {

90. vector<uchar> status;

91. vector<float> err;

92. if(prevGray.empty())

93. gray.copyTo(prevGray);

94. calcOpticalFlowPyrLK(prevGray, gray, points[0], points[1], status, err, winSize,

95. 3, termcrit, 0, 0.001);

96. size_t i, k;

97. for( i = k = 0; i < points[1].size(); i++ )

98. {

99. if( addRemovePt )

100. {

101. if( norm(point - points[1][i]) <= 5 )

102. {

103. addRemovePt = false;

104. continue;

105. }

106. }

107.  

108. if( !status[i] )

109. continue;

110.  

111. points[1][k++] = points[1][i];

112. circle( image, points[1][i], 3, Scalar(0,255,0), -1, 8);

113. }

114. points[1].resize(k);

115. }

116.  

117. if( addRemovePt && points[1].size() < (size_t)MAX_COUNT )

118. {

119. vector<Point2f> tmp;

120. tmp.push_back(point);

121. cornerSubPix( gray, tmp, winSize, Size(-1,-1), termcrit);

122. points[1].push_back(tmp[0]);

123. addRemovePt = false;

124. }

125.  

126. needToInit = false;

127. imshow("LK Demo", image);

128.  

129. char c = (char)waitKey(10);

130. if( c == 27 )

131. break;

132. switch( c )

133. {

134. case 'r':

135. needToInit = true;

136. break;

137. case 'c':

138. points[0].clear();

139. points[1].clear();

140. break;

141. case 'n':

142. nightMode = !nightMode;

143. break;

144. }

145.  

146. std::swap(points[1], points[0]);

147. cv::swap(prevGray, gray);

148. }

149.  

150. return 0;

151. }