一步步带你看懂orbslam2源码--单目初始化(三)

---

ORB-SLAM2目录：

   一步步带你看懂orbslam2源码–总体框架(一)
   一步步带你看懂orbslam2源码–orb特征点提取(二)
   一步步带你看懂orbslam2源码–单目初始化(三)
   一步步带你看懂orbslam2源码–单应矩阵/基础矩阵,求解R,t(四)
   一步步带你看懂orbslam2源码–单目初始化(五)

---

回顾:
  好久没更新啦,耽搁了这么久,实在是最近事情有点多,一直抽不出时间来写,趁着空闲之际,赶紧更新一波.上一节我们主要讲解了关于ORB特征点的原理以及源码中的实现,想必读完上节,大家应该对什么是ORB,怎么提取Oriented FAST关键点,怎么计算despritor以及如何进行四叉树存储,筛选高质量特征点,保证特征点提取的均匀性.
  接下来,有了图片的特征点信息之后,我们将正式进入Track();函数进行前端追踪,估计相机的POSE,创建关键帧等等.本文将讲解orb-slam2中的单目初始化,由于单目初始化设计内容较多,故将分为几次叙述.同时为了控制每章的规模,不至于文章太长导致读者们失去了阅读的兴趣.

---

理论环节

本质矩阵E/基础矩阵F

(1)对极约束

  如上图所示,空间中一点 $P$ 投影在$camera1$的成像平面$I_1$上的 $p_1$ ,同时投影在$camera2$的成像平面$I_2$上的 $p_2$ .其中, $l_1$ 和 $l_2$ 称为极线,$O_1$-$O_2$ 连成的线称为基线,由$O_1$-$O_2$-$P$组成的面称为极平面.由于投影在平面 $I_1$ 上的点 $p_1$ 拥有无穷多个可能的 $P$ ,且位于$O_1$-$P$ 的射线上.所以 $p_1$经过旋转变换投影到平面 $I_2$ 上的点 $p_2$ 可能位于极线 $l_2$ 上的任意一点,这就是所谓的对极约束,即由一个点投影后约束到一条线之上,幸好由于前面正确的特征点匹配,我们已经知道了$p_2$点的确确位置,所以反过来通过三角测量以及最小化重投影误差来求解 $P$ 点的位置以及两个 $camera$之间的$POSE$.

   注意:前提必须是正确的特征点匹配,错误的特征点匹配将导致错得离谱,到这里,读者们应该知道前端的特征点匹配对于系统的可靠性是有多么的重要了吧.

  接下来让我们来看看对极约束的数学表达,假设 $x_1$,$x_2$ 是两个像素点的归一化平面坐标,从$camera1$到$camera2$的旋转变换矩阵为: $T=[R|t]$,所以我们可以得到$$x_2=R{x}_1+t$$将上式同时左乘t^,可得:

   补充: $p_2^T{F}_{21}{p}_1=0$ ,可以写成 $p_2^T{l}_2=0$ ,表示 $p_2$ 在直线 $l_2$上,表示 $F_{21}$ 将 $p_1$ 投影到帧2图像中的直线 $l_2$ 上,这样子讲是不是可以更加准确的理解对极约束的物理意义呢?事实上,上面计算出来的基础矩阵 F 或者本质矩阵 E 都是表示了从帧1到帧2的变化,这在实际代码编程中将具有重要的意义.

(2)基础矩阵的计算

   参考"视觉SLAM十四讲"中的说明,根据定义矩阵$F$是一个3×3的矩阵,内有9个未知数.那么,是不是任意一个3×3的矩阵都可以被当成基础矩阵呢?从F的构造方式上看,有以下值得注意的地方;

• 本质矩阵是由对极约束定义的。由于对极约束是等式为零的约束,所以对 E 乘以任意非零常数后,对极约束依然满足.我们把这件事情称为 E 在不同尺度下是等价的.
• 本质矩阵 E 的奇异值必定是$[\sigma ,\sigma ,0{]}^T$的形式,这称为基础矩阵的内在性质.
• 另一方面,由于平移和旋转各有三个自由度,故$F$共有六个自由度.但由于尺度等价性,故$F$实际上有五个自由度.
     5个自由度矩阵的求解理论上最少可用五点对,但是实际操作中仍然采用八点法来进行求解,其本质上没有太大区别.假设一点对分别为:$p_2=(u_2,v_2,1)$ 和 $p_1=(u_1,v_1,1)$,根据对极约束可得.
  $$\left[\begin{array}{ccc}{u}_2& v_2& 1\end{array}\right]\left[\begin{array}{ccc}{f}_1& f_2& f_3\\ f_4& f_5& f_6\\ f_7& f_8& f_9\end{array}\right]\left[\begin{array}{c}{u}_1\\ v_1\\ 1\end{array}\right]=0\text{\hspace{1em}(1)}$$

化简可得:
$$u_1{u}_2{f}_{}$$