[代码学习] Real-time Depth Enhanced Monocular Odometry概述

最新推荐文章于 2024-05-25 09:50:00 发布

原创最新推荐文章于 2024-05-25 09:50:00 发布 · 1.7k 阅读

9 ·

CC 4.0 BY-SA版权

文章标签：

#源代码

源码学习专栏收录该内容

2 篇文章

订阅专栏

本文介绍了一种结合单目相机与深度信息的实时深度增强单目里程计方法，通过特征点提取与分类，利用不同公式求解位姿，再进行BA优化，实现精准运动估计。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

《Real-time Depth Enhanced Monocular Odometry》是Ji Zhang等大牛于2014年发表在IROS的一篇论文。这篇论文将普通的单目相机和其他设备获取的深度信息相结合，设计了一个里程计。

论文的获取链接:论文链接

源代码的获取链接：demo_rgbd以及demo_lidar

这篇文章的大致思路是通过单目相机获取RGB图像，通过LiDAR或者是RGB-D相机获取深度信息。然后对RGB图像进行特征点的提取，然后对深度图进行处理，将相邻两帧图像能够匹配上的特征点所对应的深度值进行分类，分为传感器获取的，利用三角化、kd-tree恢复的，以及无法获得深度信息的，这三类。然后根据分类利用不同的公式，进行位姿的求解。接着最后是BA优化，这里的BA优化是每5帧选择一帧，也就是40帧挑选8帧出来进行优化。整体的系统框图如下图所示。

接着对这篇论文进行motion estimation时利用到的公式进行一些简单的推导如下：

$(R_1-\overline{x}_i^kR_3)X_i^{k-1}+T_1-\overline{x}_i^kT_3=0$

$(R_2-\overline{y}_i^kR_3)X_i^{k-1}+T_2-\overline{y}_i^kT_3=0$

上述这两个公式是论文中的公式（3）和公式（4），对应的情况是k-1帧的特征点的深度信息已知。表达了待求的第k帧的位姿R和T的关系。这里利用第k帧对应的深度值 $z_i^k=R_3X_i^{k-1}+T_3$ ，带入到论文的公式（2）中即可得出。

$[-\overline{y}_i^kT_3+T_2,\overline{x}_i^kT_3-T_1,-\overline{x}_i^kT_2+\overline{y}_i^kT_1]R\overline{X}_i^{k-1}=0$

这个公式是论文的公式（6），对应的情况是k-1帧的特征点的深度信息未知。表达了待求的第k帧的位姿R和T的关系。这个公式的推导这里仅作口头描述。对于论文中的公式（5），将 $x_i^k$ 对应的等式的左右两边同时乘以 $T_3$ ，将 $z_i^k$ 对应的等式的左右两边同时乘以 $T_1$ ，将这两个新得到的等式的左右两边分别相减，提取公因式，可以得到 $z_i^k$ 与 $z_i^{k-1}$ 的比值关系式。同理对 $y_i^k$ 对应的等式和 $z_i^k$ 对应的等式进行操作，也得到一个 $z_i^k$ 与 $z_i^{k-1}$ 的比值关系式，这两个比值的关系式是相等的，于是交叉相乘化简就得到了论文中的公式（6）。