46、图像特征跟踪与光流计算技术详解

图像特征跟踪与光流计算技术详解

1. 角点检测基础

在图像中，可跟踪的局部特征多种多样。要想有效跟踪特征点，所选特征应具备独特性或接近独特性，并且能够参数化，以便与其他图像中的点进行比较。例如，在一面大的空白墙上选点，很难在视频的下一帧中找到相同的点，因为墙上的点都相同或非常相似。而如果选择一个独特的点，再次找到它的机会就大得多。

通常，具有显著变化的点，如有强导数的点，可能是一个不错的开始，但仅靠强导数还不够。因为这样的点可能位于某种边缘上，而沿该边缘的其他点可能看起来都一样，这就是孔径问题。但如果在两个不同方向上都观察到强导数，那么这个点更有可能是独特的，这类可跟踪的特征通常被称为角点。直观地说，角点而非边缘包含了足够的信息，能够在不同帧之间被识别出来。

最常用的角点定义由 Harris 提出。在实际应用中，我们可以使用 OpenCV 中的 cv::goodFeaturesToTrack() 函数来寻找适合跟踪的角点，该函数实现了 Harris 方法，并结合了 Shi 和 Tomasi 的改进。

1.1 使用 cv::goodFeaturesToTrack() 函数

cv::goodFeaturesToTrack() 函数的原型如下：

void cv::goodFeaturesToTrack(
  cv::InputArray  image,                         // Input, CV_8UC1 or CV_32FC1
  cv::Outp