论文笔记-PL-SLAM: Real-time monocular visual SLAM with points and lines

这一篇论文的主要贡献有两个，一个是在orb-slam的基础上加入了线特征，在不影响效率的情况下，提升了系统在低纹理的情况下的表现；二是提出了一个只用到线匹配就估计出初始地图的方法（连续三帧）。这篇论文是基于单目的，还有一个同名的PL-SLAM是双目的SLAM系统，不要弄混了~

I. INTRODUCTION

首先指出了为什么要使用线特征：
对于ORB-SLAM，如果在低纹理场景，或者是图像有运动模糊时，系统就会失效，但是在这些场景中往往还有线条，所以就希望能够应用线特征。
同时，论文也说明了使用的线特征的难点在哪里：
1）要找到合适的线条检测子和参数化方式
2）从线匹配去计算位姿的可靠性是低于用点的，而且这些线特征对遮挡非常敏感
3）使用端点还可以对orb点特征的代码进行部分复用
最终，选择了用端点来参数化，原因是：这种方式对于遮挡和无检测的情况更加鲁棒。

III. SYSTEM OVERVIEW

PL-SLAM的pipeline如下图所示：

跟orb-slam一样，追踪线程用来估计相机的位姿和决定是否要加入新关键帧；局部建图增加新关键帧信息到地图并用BA优化；闭环线程持续的进行闭环检测并修正。
在PL-SLAM中，和线特征相关的处理包括了：

• 检测：使用LSD的方法，时间复杂度是$O(n)$，n为图片中像素的个数
• 三角化
• 匹配：使用了以Line Band Descriptors为基础的方法，通过一个关系图（relational graph）当前的线会和已经在地图中的线进行配对。在获得了初始的map-to-image的线特征对集合后，所有在局部地图中的线都被投影到图像上，进一步寻找匹配对，然后，如果这个图片有足够多的新环境信息，他就会被标记为关键帧，它对应的线会被三角化并添加进地图。
• 线的剔除：从少于三个视点或少于 25% 的帧中看到的线会被丢弃（剔除）。
• 优化：线在地图中的位置使用局部BA进行优化。
• 重定位： 注意，因为对整个地图进行线的匹配的计算量非常大，所以回环检测中只使用点特征。

IV. LINE-BASED SLAM

这一节重点介绍线的参数化方式以及误差函数，还会解释怎么把它用到特征匹配，BA和全局重定位中。

A.基于线的重投影误差

根据参考文献[30], P,Q是一条线段的两个端点，${\text{p}}_d,{\text{q}}_d\in {\mathbb{R}}^2$是这两端点在图像平面的2D检测结果，${\text{p}}_d^h,{\text{q}}_d^h\in {\mathbb{R}}^3$是对应的齐次坐标。从齐次坐标，可以得到一个归一化的线系数：
$$I=\frac{{\text{p}}_d^h\times {\text{q}}_d^h}{|{\text{p}}_d^h\times {\text{q}}_d^h|}(1)$$
有了这个系数，下面再来看线的重投影误差，它是点到线距离之和，这里点是指的两端点投影后的结果，线是指的在图像中检测到的线段。具体可以看下面这张图：对于左图：
P,Q是三维空间中某一条线段的端点（绿色点），而在图像中也有对应的两个绿点，这个就是由真实的P,Q投影过来的。而在图像中，本身就存在两个拍摄下来的端点$p_d,q_d\in {\mathbb{R}}^2$（对应于P,Q的观测值），观测值对应三维空间的端点$P_d,Q_d\in {\mathbb{R}}^3$. $I$是检测到的线系数，而$\tilde{I}$则是指的投影的线系数。
对于右图：
$d_1,d_2$就是我们要的线重投影误差，而$d_1^{{}^{\prime }},d_2^{{}^{\prime }}$是检测到的线重投影误差（检测到的2D线段（蓝色）和对应的投影的3D线段（绿色）之间的误差）。

线重投影误差的公式就为：
$$E_{line}(P,Q,I,\theta ,K)=E_{pl}^2(P,I,\theta ,K)+E_{pl}^2(Q,I$$