提取ORB特征后,需要根据点估计相机的运动。根据相机的原理,可以分为下面几种情况:
1、当采用单目相机,只知道2D像素坐标,需要根据两组2D点估计运动,这时用对极几何求解
2、当采用双目相机、RGB-D相机,或者通过其他方法知道距离信息,需要根据两组3D点估计运动,这时用ICP求解
3、如果是一组3D点、一组2D点(也就是得到了一些3D点和它们在相机的投影位置),这时用PnP求解
1、对极约束
当希望求取两帧图像 之间的运动,设第一帧到第二帧的运动为
。两个相机中心分别为
。现在,考虑
中有一个特征点
,它在
中对应着特征点
。这两个点是通过特征匹配得到的。如果匹配正确,说明它们确实是同一个空间点在两个成像平面上的投影
为了描述它们之间的几何关系,用到了极平面、极点、基线、极线等概念
极平面: 所在的平面
极点: 连线与像平面
的交点
基线: 连线
极线:极平面与两个像平面 之间的相交线
从第一帧的角度上看,射线 是某个像素 P 可能出现的空间位置,如果不知道 P 的位置,那么当我们在第二个图像上看时,极线
是 P 可能出现的投影位置,也是射线
在第二个相机中的投影。当我们通过特征点匹配,确定了
的像素位置,从而能够推断 P 的空间位置以及相机运动

设 ,
,
(R,t描述第一个坐标系到第二个坐标系的运动)

本文介绍了如何通过ORB特征匹配估计单目和双目的相机运动,包括对极约束、本质矩阵的求解方法,以及单应矩阵的计算和应用。重点讲解了对极几何的原理、本质矩阵的内在性质和求解过程,以及如何结合深度信息进行三角测量来估计点的三维位置。
最低0.47元/天 解锁文章
2295

被折叠的 条评论
为什么被折叠?



