视觉SLAM理论入门——（10）视觉里程计之光流和直接法

1、特征点法的缺点

特征点法具有以下缺点：

1、关键点的提取与描述子的计算非常耗时

2、特征点的数量远小于图像像素数量，只使用特征点丢弃了大部分可能有用的图像信息

3、相机有时会运动到特征缺失的地方，往往这些地方没有明显的纹理信息，从而使得特征点数目减少，无法估计运动

 

克服特征点法缺点的思路：

1、只计算关键点，不计算描述子。使用光流法跟踪特征点的运动，回避计算和匹配描述子带来的时间

2、只计算关键点，不计算描述子。使用直接法计算特征点在下一时刻图像的位置

3、不使用特征点，而是根据像素灰度的差异，直接计算相机运动

第一种方法仍然使用特征点，只是把匹配描述子替换成了光流跟踪

后面两个方法中，根据图像的像素灰度信息来计算相机运动，它们都称为直接法

 

使用特征点法估计相机运动时，把特征点看作固定在三维空间的不动点，通过最小化重投影误差优化相机运动，这需要精确地知道空间点在两个相机中投影后的像素位置

在直接法中，不需要知道点与点之间之间的对应关系，通过最小化光度误差优化相机运动

 

特征点法只能重构稀疏地图，而直接法分为稀疏、稠密和半稠密三种

 

2、光流

光流是一种描述像素随着时间，在图像之间运动的方法。计算部分像素运动的称为稀疏光流，计算所有像素的称为稠密光流

稀疏光流以 Lucas-Kanade（LK） 光流为代表，可以在 SLAM 中用于跟踪特征点位置

 

将图像看作时间的函数：I(t)。那么，一个在 t 时刻，位于 (x,y) 处的像素，它的灰度可以写成：

含义是某个空间点位于 t 时刻图像的 (x, y) 像素的深度

 

 

光流法用到 灰度不变假设：同一个空间点的像素灰度值，在各个图像中是固定不变的

对于 t 时刻位于 (x,y) 处的像素，设 t + dt 时刻，它运动到 (x + dx,y + dy) 处。由于灰度不变：