基于LK光流的Structure from Motion实现

最新推荐文章于 2024-10-31 23:19:36 发布

OORRANNGGE

最新推荐文章于 2024-10-31 23:19:36 发布

阅读量1.3k

点赞数 2

分类专栏：视觉SLAM

本文链接：https://blog.youkuaiyun.com/OORRANNGGE/article/details/85050057

版权

本文介绍了基于LK光流的Structure from Motion实现过程，包括理论推导和代码逻辑梳理。通过Kitti数据集验证，实现了运动过程和特征点位置的还原，但由于未进行BA优化，精度仍有提升空间。文章详细阐述了对极几何原理及在求解相对位姿中的应用，以及SfM滑窗算法的实现策略。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

这两天试着写了个Structure from Motion的实现，巩固一下对sfm细节的掌握，本来以为sfm应该挺简单的，但最后写完发现代码还是不少。最后在Kitti数据集上跑了一下，基本能够还原运动过程和特征点的位置，由于没有进行BA优化，所以总体的准确度还有一定的提升空间。

理论推导部分

Structure from Motion是单目视觉运动估计的一种常用方法，主要通过对极几何和求解PnP问题来恢复滑窗中的不同图像帧的相对位姿和特征点3D坐标，然而，纯单目视觉具有尺度不确定性，因此单目通常需要其他传感器如IMU、激光雷达等传感器进行辅助。
对极几何（这部分主要摘自《视觉slam14讲》）
对两个具有足够数量共视点的图像帧求解相对位姿常用的方法是对极几何。
设有两个图像帧，对应的相机参考系分别为 $c_1,c_2$ ，假设在 $c_1$ 坐标系下有一特征点的3D坐标为
$\textbf P=[X,Y,Z]^T$
记该点在 $c_1,c_2$ 中的像素坐标为 $\textbf p_1,\textbf p_2$ ，则它们与点 $\textbf P$ 有如下关系：
$s_1\textbf p_1=\textbf{KP} \\ s_2\textbf p_2=\textbf{K(RP+t)}=\textbf K\textbf T\textbf P$
$\textbf K$ 为相机内参矩阵， $\textbf R, \textbf t$ 为两个相机之间的相对运动，可以用一个 $4\times4$ 的矩阵 $\textbf T$ 表示，这里我更习惯于把 $\textbf T$ 称作投影矩阵，把 $\textbf T$ 的逆矩阵 $\textbf T^{-1}$

最低0.47元/天解锁文章