惊鸿一博

cv::flann::KDTreeIndexParams 说明，使用？是 OpenCV 中用于配置 KD 树（K-Dimensional Tree）索引参数的类。KD 树是一种用于多维空间中的点搜索的数据结构，常用于最近邻搜索等问题。在 OpenCV 的 FLANN（Fast Library for Approximate Nearest Neighbors）库中，KD 树是支持的一种数据结构，用于加速特征匹配等任务。

极线搜索,进行特征匹配: 根据初始参考图中参考点pt_ref的深度和深度方差图, 求得空间3D点的最远和最近两个坐标, 将其投影到当前cur图像平面, 得到当前图像平面的极线表示形式(使用极线方向 + 极线长度的组合表示), 然后遍历极线区间, 则极线上的像素点为候选匹配点, 使用NCC的方法, 计算最大的NCC得分, 得到当前图像的最佳匹配.对于每个候选点(curr), 计算与当前的参考点(ref)的相似度(相关性), 即求当前像素5*5临域像素灰度之间的相似度 (去平均值处理)

视觉SLAM（Simultaneous Localization and Mapping，）是机器人和计算机视觉领域中的一个重要技术，主要通过相机捕捉环境图像进行定位和地图构建。

积分图算法是图像处理中的经典算法之一，由Crow在1984年首次提出，它是为了在多尺度透视投影中提高渲染速度。积分图算法是一种和以及图像区域平方和的算法。直白的说，就是很快计算一幅图像任意区域，也就是跟平方和。它的核心思想就是对每一个图像建立起自己的积分图查找表，在图像处理的阶段就可以，从而实现对均值卷积的线性时间计算。做到了卷积执行的时间与半径窗口大小的无关联。利用积分图可以极大地加快计算原始图像中任一矩形区域的像素和，因为只需经过一次计算。

线特征在于具有天然的光照及视角不变性，同时更高级的特征也使追踪的鲁棒性和准确性有所提高。特别是在特定的人造场景（室内，走廊）等场景，能够克服无纹理或者不可靠纹理带来的干扰。线段的检测及匹配耗时相对特征点更大。同时在后端也没有一个标准且通用的SLAM优化及回环模块。线特征匹配也是较为困难的，如线段易断裂，不具备强有力的几何约束（如极线几何约束），在纹理缺失处不具有较强的辨识度等。同一条直线在不同视角下的观测不稳定，由于遮挡、直线特征提取算法等因素的影响，直线的端点不具有重复性，同一直线特征可能断裂。

OpenMVG OpenMVS三维重建 安装运行测试

三维重建。纹理重建与表面细化。为了真实感绘制，以及计算机的渲染。纹理图像的自动创建✓ 视角选择✓ 纹理坐标的计算✓ 全局颜色调整✓ 泊松图像编辑网格细化✓ 数学模型✓ 基于多视角光度一致性的网格细化

目录1. 三维物体的表面表达方式1.1 边界表示法 (Boundary Representation)1.2 空间划分法 (Spatial-Partitioning Representations) 1.3 构造体素法 (Boundary Constructive Solid Geometry)2. 三维模型的表述方式 3. 基于符号距离场的表面重建方法 3.1 符号距离函数(Signed Distance Function) 3.2 基于隐函数的表面重建 步骤一：空间划分 步骤二：符号距离场构建FSSR

基于“一致性”定义的不同，衍生出了多种方法，其中比较经典的包括： 1. 空间雕刻法，2. 体素着色法。给定工作体积中的一个点，将其投影到某个视图上时，如果投影点落在该视图的剪影内，则。固定工作台，相机和物体的位置关系进行标定。参考： 深蓝学习 基于图像的三维重建。称当前点满足该视图一致性要求。空间雕刻法的一致性定义。

面片是三维物体表面的局部切平面，可以近似地表示某一局部范围内的物体表面。光度一致性(photometric loss)其实就是两帧之间同一个点或者patch的光度(在这里指灰度值,RGB)几乎不会有变化，几何一致就是同一个静态点在相邻帧之间的尺度(就是尺寸大小)几乎不会有变化．

基于图像的三维重建 课程, OpenMVG核心逻辑，输入：摄像机内参数、特征点和几何效验后的匹配结果输出：三维点云、摄像机位姿1: 计算对应点的轨迹（Tracks）𝑡2: 计算连通图 𝐺（节点代表图片，边代表其之间有足够的匹配点）3: 在 𝐺 中选取一条边 𝑒4: 鲁棒估计 𝑒 所对应的本质矩阵 𝑬5: 分解本质矩阵 𝑬 ，得到两张图片摄像机的位姿（即外参数）6: 三角化 𝑡 ∩ 𝑒 的点，作为初始的重建结果7: 删除 𝐺 中的边 𝑒8: 如果 𝐺 中还有边：1）

针对户外资源受限环境下的多车辆长期作业( multi-vehicle longterm operations )，提出了一套完整的地图管理流程。户外视觉定位产生大量的数据，为了在任何时间和任何外观条件下进行定位，需要将这些数据合并到终身视觉地图( lifelong visual map)中。处理这些大量数据并非易事，因为它受到车辆和映射后端有限的计算和存储能力的限制。本文用一种双重地图更新范式来解决这个问题，既可以向地图添加新的视觉线索，也可以更新共同观察统计量。

商场、超市等大多数现实场景的环境随时都在变化。不考虑这些变化的预建地图很容易变得过时。因此，有必要拥有一个最新的环境模型，以促进机器人的长期运行。为此，本文提出了一个通用的终身同步定位和映射 (SLAM) 框架。我们的框架使用多会话地图表示，并利用有效的地图更新策略，包括地图构建、位姿图细化和稀疏化。为了缓解内存使用量的无限制增加，我们提出了一种基于 Chow-Liu 最大互信息生成树的 maptrimming 方法。所提出的 SLAM 框架已经通过在真实超市环境中机器人部署一个多月的全面验证。

用于移动机器人的基于外观的映射模型的优势在于它们能够通过高级图像特征来表示环境并提供人类可读的信息。然而，使用这些模型开发映射和定位方法非常具有挑战性，尤其是当机器人必须处理长期映射、定位、导航、遮挡和动态环境时。换句话说，移动机器人必须处理环境外观变化，这会修改其对环境的表示。本文提出了一种基于人类记忆模型的移动机器人室内外观建图和定位方法，用于在机器人拓扑图中的每个节点处构建特征稳定性直方图（Feature Stability Histogram, FSH）。

用于移动机器人的基于外观的映射模型的优势在于它们能够通过高级图像特征来表示环境并提供人类可读的信息。然而，使用这些模型开发映射和定位方法非常具有挑战性，尤其是当机器人必须处理长期映射、定位、导航、遮挡和动态环境时。换句话说，移动机器人必须处理环境外观变化，这会修改其对环境的表示。本文提出了一种基于人类记忆模型的移动机器人室内外观建图和定位方法，用于在机器人拓扑图中的每个节点处构建特征稳定性直方图（FSH）。

视觉定位使自动驾驶汽车能够在周围环境中导航，增强现实应用程序能够将虚拟世界与现实世界联系起来。实用的视觉定位方法需要对各种观察条件具有鲁棒性，包括昼夜变化以及天气和季节变化，同时提供高度准确的六自由度 (6DOF) 相机姿态估计。在本文中，我们扩展了三个公开可用的数据集，其中包含在各种观察条件下捕获的图像，但缺少相机姿态信息，具有地面真实姿态信息，使得评估各种因素对 6DOF 相机姿态估计精度的影响成为可能。我们还讨论了这些数据集上最先进的本地化方法的性能。

的三维重建算法，它主要针对小规模场景的重建。总体来说，OpenMVG是一个功能强大的三维重建库，适用于建立三维模型和重建真实场景、视觉SLAM和图像检索等应用场景，但需要充足的计算资源和一定的技术储备才能使用。三维建模和重建：OpenMVG可以从多张图像中估计相机的姿态和场景的结构，生成稀疏和稠密的点云数据，并进行三角网格重建，用于建立三维模型和重建真实场景。图像检索和匹配：OpenMVG可以用于图像检索和匹配，提取图像中的特征点和描述子，并进行特征匹配和相似性比较，用于实现图像搜索和识别等功能。

各种应用程序都使用移动测绘系统 (MMS) 作为主要的 3D 城市遥感平台。然而，MMS获取的三维数据的准确度和精度高度依赖于车辆自定位的性能，这通常由高端全球导航卫星系统（GNSS）/惯性测量单元（IMU）执行） 一体化。然而，GNSS/IMU 定位质量在高楼林立的密集城市地区显着下降，阻挡和反射卫星信号。传统地标更新方法通过测量地面控制点 (GCP) 并手动识别数据中的这些点来提高 MMS 精度，这种方法既费力又耗时。在本文中，我们提出了一个新颖而全面的框架，通过利用从高分辨率空中监视数据中。

最近，由于高精地图的可用性以及光检测和测距技术的价格下降，基于激光扫描仪数据与高清（HD）地图匹配的自动驾驶汽车的自我定位变得越来越流行。前人已经进行了许多类型的研究以实现本地和全球准确的高清地图以进行准确定位。然而，地图的全局精度并不能保证地图内的准确自定位。为了实现准确的自定位，地图应该满足一些要求。在本文中，重点放在地图上，地图是定位错误的高潜在来源之一。通过调查地图中的错误场景并比较它们的特征，我们为地图的自定位能力引入了四个标准。这些标准是地图的特征充分性、布局、局部相似性和。

准确的定位能力是自动驾驶的基础。传统的视觉定位框架通过几何模型来解决语义地图匹配问题，几何模型依赖于复杂的参数调整，从而阻碍了大规模部署。本文提出了BEV定位器：一种使用多目相机图像的端到端视觉语义定位神经网络。具体地，视觉BEV（鸟瞰图）编码器提取多目图像并将其展平到BEV空间中。而语义地图特征在结构上嵌入为地图查询序列。然后，采用跨模态的转换器（cross-model transformer）将BEV特征和语义图查询关联起来。通过交叉注意力模块递归地查询自车的定位信息。

利用线特征来提高基于点特征的视觉惯性SLAM（VINS）的定位精度越来越重要，因为它们提供了结构化场景中规则性的额外约束，然而，实时性能一直没有得到关注。本文介绍了PL-VINS，一种基于实时优化的具有点和线的单目VINS方法，它是在最新的基于点的VINS Mono的基础上发展起来的。观察到目前的工作是使用LSD算法来提取直线，但是LSD是为场景的形状结构表示而设计的，而不是针对特定的姿态估计问题，由于其昂贵的成本成为实时性能的瓶颈。本文通过对隐参数调整和长度抑制策略的研究，提出了一种改进的LSD算法。

​2006年，NVIDIA公司发布了CUDA，CUDA是建立在NVIDIA的CPUs上的一个通用并行计算平台和编程模型，基于CUDA编程可以利用GPUs的并行计算引擎，来更加高效地解决比较复杂的计算难题。近年来，GPU最成功的一个应用就是深度学习领域，基于GPU的并行计算已经成为训练深度学习模型的标配。目前，最新的CUDA版本为CUDA 9。...

来源: 计算机视觉lifeGitHub链接：GitHub - electech6/ORB_SLAM3_detailed_comments: Detailed comments for ORB-SLAM3整体思路：目的：两帧图像稀疏立体匹配（即：ORB特征点匹配，非逐像素的密集匹配，但依然满足行对齐）输入：两帧立体矫正后的图像img_left 和 img_right 对应的orb特征点集输出：稀疏特征点视差图/深度图（亚像素精度）mvDepth 匹配结果 mvuRight过程：1.

目录基本情况摘要主要创新点：介绍参考基本情况出处：Kerl C, Sturm J, Cremers D. Dense visual SLAM for RGB-D cameras[C]//2013 IEEE/RSJ International Conference on Intelligent Robots and Systems. IEEE, 2013: 2100-2106. 论文主页：vision.in.tum.de/data/software/dvo vedio:Den.

目录一. 纯视觉SLAM1. TANDEM2. MonoRec二. 激光雷达SLAM3. range-mcl4. MULLS三. 激光雷达惯性SLAM5. LiLi-OM6. FAST-LIO2四. 多传感器融合SLAM7. R3LIVE8. GVINS9. LVI-SAM五. 语义SLAM10. DSP-SLAM六.【未开源】LiTAMIN2CodeMapping(来源：计算机视觉life)一. 纯视觉SLAM1. TA

总结参考：slam 十四讲 7.3 节从相机开始抓取第一帧图像说起，开始时我们没有空间点的3D坐标，只有两幅图像，首先，从两幅图像中找特征点（SIFT SURF ORB等特征），得到多对一一对应的特征点对（2D-2D）； 然后，因为图像点是2D的，所以问题就变成了如何从2D-2D中恢复相机的运动。 若特征点都在同一个平面上，则需要使用H矩阵恢复相机运动， 若特征点不都在一个平面上，则使用本质矩阵E或基础矩阵F恢复相机的运动。 有了初始前两帧的相机的运动，就可以计算出一些3D点了。

对于自动驾驶、机器人技术、导航系统和三维场景重建等应用，通常使用激光雷达和相机传感器捕获同一场景的数据。为了准确地重建场景中的对象，有必要将激光雷达和相机输出融合在一起，激光雷达相机外参估计出刚性变换矩阵，旋转+平移、6自由度，该矩阵建立三维激光雷达平面中的点与图像平面中的像素之间的对应关系。1. Extrinsic Calibration of a Camera and Laser Range Finder (improves camera calibration), 2004（点到面的优化方式）

目录基本情况摘要主要贡献主要内容A.全景标定间的重建B.相机定位C.激光雷达定位实验总结A 局限性B 未来的工作基本情况文章：Single-Shot is Enough: Panoramic Infrastructure Based Calibration of Multiple Cameras and 3D LiDARs 作者：Chuan Fang1 , Shuai Ding, Zilong Dong, Honghua Li, Siyu Zhu, ..

目录1、向量的“倒数”2、标量对向量求导3、向量对向量求导4、向量对标量求导5、分子布局与分母布局给一种不严密但有用的理解方式：1、向量的“倒数”记向量，其倒数记为：，不难得出它们的内积为：对应地，它们的外积可以写为：由向量“倒数”不难得到向量“除法”的定义，此处记特别地，标量除以向量即可定义为：2、标量对向量求导不难注意到，此时该导数即是多元函数的梯度。3、向量对向量求导该矩...

目录1. 什么是梯度下降法？2. 举个例子3. 完整代码示例1. 什么是梯度下降法？以函数求解最小值为例：y= x^2:改变自变量x的值，让梯度y’（因自变量的导数）逐渐减小到0，从而使y达到最小。以求解模型参数为例：y = ax+b: 我们想要通过采样值(x,y) 求解模型中参数a和b, 则需要构造一个损失函数loss：loss =(ax+b – y)^2: 求使loss最小时的a和b. 即等价于函数求解最小值。更详细的说：例如：y = x^2y’ ...

基本情况出处：Lee, J. H., Han, M. K., Ko, D. W., & Suh, I. H. (2019). From big to small: Multi-scale local planar guidance for monocular depth estimation.arXiv preprint arXiv:1907.10326. 作者：Jin Han Lee, Myung-Kyu Han, Dong Wook Ko and Il Hong Suh 开源代码：ht.

具体的bresenham算法可以参考https://www.cs.helsinki.fi/group/goa/mallinnus/lines/bresenh.html，这里介绍的是一种基于该算法的实现方式。为什么说是最简洁的实现的看下面的代码实现就知道了，短短不到三十行代码便可以实现全坐标系任意斜率直线的绘制。这里采用了虚拟轴的概念，因而使得可以屏蔽斜率的概念可以使得所有的直线绘制都转化为第一象限斜率小于1情况下的直线绘制。因此所有的判定条件只有一个e+dy-0.5dxstd::vector&lt

一、SIFT特征是什么？SIFT的全称是Scale Invariant Feature Transform，尺度不变特征变换。具有旋转不变性、尺度不变性、亮度变化保持不变性，是一种非常稳定的局部特征。此方法由David Lowe于1999年发表于ICCV(International Conference on Computer Vision)，并经过5年的整理和完善，在2004年发表于IJCV(International journal of computer vision)。由于在此之前的目标检测

目录1. 多元高斯分布1.1 一元高斯分布概率密度1.2 多元高斯分布概率密度1.2.1 维度相互独立参考：1. 多元高斯分布1.1 一元高斯分布概率密度1.2 多元高斯分布概率密度1.2.1 维度相互独立参考：多元高斯分布概率密度推导...

随着深度学习的快速发展，视觉稠密建图和定位技术从传统的基于手工特征点的检测、匹配加之数值优化，发展到现在的基于深度神经网络的特征检测、匹配和学习优化(Learning to Optimize)，近些年涌现出了很多新的方法。在这次分享中，我们邀请到了阿里云人工智能实验室算法团队负责人朱思语，分享他们最新的基于深度神经网络的密集特征匹配、不依赖场景的视觉定位以及基于深度递归优化器的运动恢复结构（Structure from Motion）等工作。最后会对基于视觉的建图和定位技术未来发展的趋势做简要总结。

摘要将激光雷达与基于相机的同步定位和建图(SLAM)相结合是提高整体精度的有效方法,尤其是在大规模室外场景下.低成本激光雷达(如Livox激光雷达)的最新发展使我们能够以更低的预算和更高的性能探索这种SLAM系统.在本文中,我们通过探索Livox激光雷达的独特特征,将Livox激光雷达应用到视觉SLAM(ORBSLAM2)中,提出了CamVox.基于Livox激光雷达的非重复特性,我们提出了一种适用于非受控场景的激光雷达-相机自动标定方法.更长的深度探测范围也有利于更有效的建图.我们在同一个数据集...

四元素取逆其实就是xyz的值分别取反q = {x,y,z,w}q_inverse = {-x,-y,-z ,w}同时旋转矩阵取逆的方法如下：// float mat[3][3] = { 00 01 02// 10 11 12// 20 21 22// }float m3_det2( float mat[3][3]){ float det; det...

1 光流作用光流可以追踪一个时刻的角点在下个时刻的图像位置2 灰度不变假设：一阶 Taylor 展开：得到：3 光流在 SLAM 中的运用1 光流可以追踪上一帧的角点 2 可以一直追踪该角点，直到超出图像范围或被遮挡 3 在单目 SLAM 中，新提出的角点没有 3D 信息，因此可通过追踪角点在各图像位置，进行三角化4 光流的局限性1 容易受光照变化影响 2 只适合连续图像中的短距离追踪，不适合更长距离 3 图像外观发生明显变化时不适用（例：远处的角点凑近

SLAM问题求解框架说明：1. 构建误差函数（比如视觉上空间点的重投影误差/逆深度误差1/d，IMU的位置p,旋转q,速度v,加速计的bias,陀螺仪的bias）； 2. 计算上述误差的雅克比矩阵； 3. 采用舒尔补(schur)的方式进行矩阵变换，然后使用基于边际概率的滑动窗口算法，将丢弃变量所携带的信息传递给剩余变量，以保持优化的变量的个数保持在一定的范围内； 4. 更新状态量； 5. 进行迭代到收敛。参考: 深蓝学院 VIO课程贺一家，高翔，崔华坤...

目录1. 基于直方图均衡化的图像增强2. 基于拉普拉斯算子的图像增强3. 基于对数Log变换的图像增强4. 基于伽马变换的图像增强参考:1. 基于直方图均衡化的图像增强直方图均衡化是通过调整图像的灰阶分布，使得在0~255灰阶上的分布更加均衡，提高了图像的对比度，达到改善图像主观视觉效果的目的。对比度较低的图像适合使用直方图均衡化方法来增强图像细节。彩色图像的直方图均衡化实现： #include <opencv2/highgui/highgui.hpp&gt