描述BA
- BA[1](光束平差法,捆集约束)的本质是一个图优化模型,其主要目的是构建最小化重投影误差模型或光度误差模型,用于优化相机位姿和地图点。一般选择LM(Levenberg-Marquardt)算法并在此基础上利用BA模型的稀疏性进行计算;可以直接计算(可以使用g2o或者Ceres等优化库进行计算)。
- Bundle Adjustment : 从视觉重建中提炼出最优的3D模型和相机参数(内参和外参),好似每一个特征点都会反射几束光线,当把相机位姿和特征点位置做出最优的调整后,这些光线都收束到相机光心。也就是根据相机的投影模型构造构造代价函数,利用非线性优化(比如高斯牛顿或列文伯格马夸而尔特)来求最优解,利用雅克比矩阵的稀疏性解增量方程,得到相机位姿和特征点3D位置的最优解。
- 基本流程
1. 首先构建残差模型(最小重投影误差或光度误差);
2. LM或GN优化残差模型(利用其稀疏性求解Hessin矩阵)
描述PnP
- Perspective-n-Points, 是求解3D到2D点对运动的方法。
- 通常用于特征点法,在已经有三角化以后的3D地图点(拥有世界坐标)和当前图像帧像素点的匹配对时(例如ORBSLAM里是通过计算描述子匹配3D地图点和像素点),通过重投影地图点到当前帧以获取重投影误差获取当前帧的位姿的过程,称为PNP。
参考
[1] : https://zhuanlan.zhihu.com/p/46694678