weixin_42708301的博客

《增强现实：原理、算法与应用》读书笔记（11）RGB-D SLAMRGB-D传感器进行SLAM可以获得稠密的深度图，更便于进行稠密地图的重建。微软在2010年首次推出消费级的RGB-D相机Kinect之后，各种RGB-D SLAM方法被不断提出，比如2011年的SIGGRAPH会议上展示了KinectFusion实时重建算法（Newcombe et al., 2011a）。RGB-D相机跟踪RGB-D相机跟踪指根据RGB-D相机获取的颜色图像和深度图序列得到相机的位姿轨迹，大多数RGB-D SLAM系

《增强现实：原理、算法与应用》读书笔记（10）视觉惯性SLAM单目视觉SLAM系统存在一定的局限性，它非常依赖相机的成像质量，在图像质量不佳的时候则难以正常工作。即使图像质量很好，缺乏尺度信息也对重建造成了困难。而且在AR应用中，为了与场景交互，SLAM算法必须提供鲁棒的带正确尺度信息的相机位姿估计。而随时可能出现的光照、纹理质量的变化，以及相机快速运动带来的图像模糊，都给SLAM带来很大的挑战。为了解决这些问题，我们可以考虑引入其他辅助手段，比如使用更好的图像特征、更鲁棒的特征匹配方法来减轻图像质量不

《增强现实：原理、算法与应用》读书笔记（9）同时定位与地图构建早在人类开始航海的时期，人类借助指南针与六分仪在大洋上导航。中国古代，人们借助指南车的轮式里程计的差速获取当前朝向。这种仅根据某一时刻传感器的局部信息进行推断运动从而恢复位置的方法称为航位推测法。然而，航位推测法不能解决定位中误差不断累积的问题，如果没有地图或绝对位置信息，航线会逐渐偏离目的地。这时就需要根据已经记录过的地貌来矫正定位误差。SLAM算法可以在未知环境中定位自身方位并同时构建三维地图。SLAM算法根据传感器不同分为很多种，常用

《增强现实：原理、算法与应用》读书笔记（7）三维几何重建在恢复了相机参数和深度图之后，往往还需要进一步重建出三维几何模型。根据三维信息的表达方法，可以分为：基于深度图融合的三维重建、基于点云的三维重建、基于体素的三维重建等。基于深度图融合的三维重建深度图是一种图像坐标系下的表达方式，每一幅图像的像素被赋予了在该相机下的深度。通过相机参数，深度图可以被反投到世界坐标系。与点云不同的是，深度图由像素的邻接关系定义了其拓扑结构，因此每张深度图都对应了世界坐标系下的一个曲面。由于多幅深度图之间可能存在重叠，

《增强现实：原理、算法与应用》读书笔记（7）稠密深度估计增强现实技术除了要恢复相机参数和场景的稀疏结构，有时候为了更好地处理遮挡关系和合成阴影，还需要恢复出场景的稠密三维结构。因此，稠密深度估计也是增强现实技术中很重要的一环。深度计算方法有很多种，常见的主要有立体匹配法、光度立体视觉法、色度成形法、散焦推断法以及基于深度学习的方法等，其中最常用的就是立体匹配的方法。立体匹配是利用多视图几何原理，从不同视角拍摄的多幅图像，通过匹配恢复出场景的三维信息。双视图立体匹配利用相机模仿人类的双目视觉系统，从

《增强现实：原理、算法与应用》读书笔记（6）运动恢复结构（下）初始化、相机位姿估计、集束调整自定标自定标（Self-calibration）是SfM里一个非常重要的技术，通过利用图像上的二维信息自动求解出相机的内部参数，而不需要标定物。一般带自定标的SfM求解流程是先通过两帧或三帧求解来初始化射影空间上的三维结构和相机运动参数，然后通过增量式的求解方式扩大求解的帧数和重建的三维点云，再选择合适的时机通过自定标技术将重建的结果转换到度量空间上。绝对二次曲线是自定标理论中一个非常重要的概念，一般用对偶绝

《增强现实：原理、算法与应用》读书笔记（5）运动恢复结构运动恢复结构（SfM）是一种从运动的相机拍摄的图像或视频序列中自动地恢复出相机运动轨迹以及场景三维结构的技术。如图，一个完整的SfM系统一般包括特征匹配、初始化、相机位姿和特征点三维位置的求解、集束调整（bundle adjustment，BA）和自标定（self-calibration）等模块。早期的SfM系统一般是离线计算的，后来发展出了实时的SfM技术，也就是视觉SLAM技术。初始化三级标题...

《增强现实：原理、算法与应用》读书笔记（4）特征匹配主流算法主流的特征匹配算法可分为两种，一种是基于特征点周围像素分布相似度的模板匹配，另一种是通过构造合适的描述子进行匹配。模板匹配在特征匹配中，模板一般是指特征周围的图像块，而模板匹配是在另一图像的特征中查找与模板图像最为相似的图块。模板匹配算法的一般流程：（1）遍历另一图像的所有特征；（2）将这些图像块与模板图像进行对比；（3）计算并记录两者的相似度；（4）得到与模板图像相似度最高的特征。如何定义相似度是模板匹配准确率的重中之重，一种方

《增强现实：原理、算法与应用》读书笔记（3）特征与匹配这一部分真的非常非常非常长，但是我个人感觉真的很重要，要不插个目录吧第三章：实景的三维结构恢复和重建目录《增强现实：原理、算法与应用》读书笔记（3）特征与匹配第三章：实景的三维结构恢复和重建特征图像预处理与梯度提取Harris特征点提取Fast特征点提取旋转不变性尺度不变性特征特征提取的目的是什么不用我多说了，一般图像中的点和边缘是我们最常用的特征，特征点可定义为在两个或两个以上方向颜色迅速变化的像素的集合（Forsyth et al., 20

《增强现实：原理、算法与应用》读书笔记（2）第三章：实景的三维结构恢复和重建多视图几何多视图几何相比双视图几何，有利于消除噪声的影响提高精度，从递推关系上来说，我们可以用基础矩阵来表示双视图的关系，则可以用多焦点张量表达多视图之间的联系（如三视图几何可以使用3×3×33\times3\times33×3×3的张量来表达）。如图，空间直线LLL在三个视图C,C′,C′′C,C',C''C,C′,C′′上的投影分别为l,l′,l′′l,l',l''l,l′,l′′，即三者的反投影平面在空间中交于LLL

《增强现实：原理、算法与应用》读书笔记（1）入坑增强现实，学长让我先把这本书看懂，看了一小半，确实有很多对数学要求挺高的地方，所以打算写个读书笔记，分享一些体会。第三章：实景的三维结构恢复与重建双视图几何原理：基础矩阵与本质矩阵首先，双视图几何原理需要理解，左图中的一个点会在右图中对应一条直线，这是因为从相机光心到图像上该点可以连出一条射线，该点的空间位置就在这条射线上，而这条射线在另一台相机的图像上的投影就是一条直线，称为极线。两台相机光心的连线称为基线，基线与两个视图平面的交点称为极点eee,