21、单相机结构与运动估计

单相机结构与运动估计

1. 引言

在计算机视觉领域，利用图像反馈来估计特征点的运动或几何形状是一个重要的研究方向。当能够在多个图像之间跟踪感兴趣的点时，就可以开展相关的估计工作。这里涉及到几个关键问题：
- 结构从运动（SfM）问题 ：目标是在已知相机与物体相对运动的情况下，估计附着在物体上的跟踪特征点的欧几里得几何形状（即 3D 结构）。
- 运动从结构（MfS）问题 ：这是 SfM 问题的逆问题，基于已知的跟踪特征点的几何形状来估计相机与物体之间的相对运动。
- 结构和运动（SaM）问题 ：是一个扩展问题，旨在同时估计跟踪特征点的欧几里得几何形状以及相机与跟踪特征点之间的相对运动。不过，在使用针孔相机模型时，SaM 估计通常只能达到一定的尺度。

解决这些问题的方法大致可分为离线方法（批量方法）和在线方法（迭代方法）：
|方法类型|特点|缺点|
| ---- | ---- | ---- |
|离线方法（批量方法）|从给定的图像序列中提取图像数据集，然后从该数据集中重建 3D 结构，通常基于非线性优化、投影方法或基于不变量的方法|缺乏收敛性的分析，且不能用于执行在线/实时任务|
|在线方法（迭代方法）|将 SfM 和 MfS 问题表述为连续时间微分方程，图像动态从连续图像序列中推导得出，常依赖扩展卡尔曼滤波器（EKF）|缺乏收敛保证，在实际场景中可能收敛到错误的解，且需要关于噪声的先验知识|

为了解决这些问题，本文提出了两种连续非线性观测器：
- 第一种观测器用于在已知相机相对于静止物体的