AAAA202012的博客

根据影像匹配过程中匹配基元选择的不同，影像匹配方法可分为像方基元匹配和地面元匹配两类。像方基元匹配是以影像上的像元或特征（点特征、线特征、面特征）为待匹配基元，利用像方信息（灰度或特征向量等）进行匹配准则的定义与计算，在像方侧完成同名像点的搜索确定。像方基元匹配方法总体上可分为局部影像匹配方法和全局影像匹配方法两类。另外，对于局部或全局匹配方法得到的视差，通常还要进行视差优化处理，以滤除错误视差、填补视差空洞等。而地面元影像匹配是以已知物方平面坐标（Ｘ，Ｙ）的地面点作为待匹配基元，影像匹配的目的是确定地面基

在近景三维重建领域，结构光技术可以说是应用最广泛的，尤其在工业领域。该技术目前具有高精度和无视弱纹理等优点，但复杂的室外环境还是会对该技术造成一定程度的干扰。目前用的比较多的结构光分别两大类：线结构光以及条纹结构光。接下来我先来简单介绍一下条纹结构光三维重建，事实上，条纹结构光的原理与双目立体匹配是非常相似的。...

在近景三维重建领域，结构光技术可以说是应用最广泛的，尤其在工业领域。该技术目前具有高精度和无视弱纹理等优点，但复杂的室外环境还是会对该技术造成一定程度的干扰。目前用的比较多的结构光分别两大类：线结构光以及条纹结构光。接下来我先来简单介绍一下线结构光三维重建。......

欧式变换欧式变换是最简单的3D变换方式，由旋转和平移组成。它保持了向量的长度和夹角，相当于我们把一个刚体原封不动的进行了移动或旋转，不改变它自身的样子。其矩阵表现形式如下所示：其中，旋转矩阵R为行列式为1的正交矩阵。t为平移矩阵。相似变换相似变换比欧式变换多了一个自由度，它允许物体进行均匀缩放，其矩阵表示为：注意，旋转部分多了一个缩放因子s,表示我们在对向量旋转之后，可以在x,y,z三个坐标上进行均匀缩放。由于含有缩放，相似变换不再保持图形的面积不变。仿射变换仿射变换的矩阵形式如下：与

1.PMVS:多视图匹配经典算法简介导语：常见的稠密重建方法主要有三种：基于体素的方法、基于深度图融合的方法以及基于3D patch扩张的方法。第一种基于体素的方法仅适用于小场景，单个物体，遮挡较少的情况，不予赘述。第二种基于深度图融合的方法在前面已经介绍过：基于图像的三维重建——深度图计算方法1-SGM/tSGM(9)以及基于图像的三维重建——深度图计算方法2-PatchMatch(10)，这两种都是通过计算得到的不同视角的深度图进行融合来获取稠密点云。而今天要介绍的就是第三种方法：基于3D patch

核线影像生成  《航摄影像密集匹配的研究进展与展望》一文中介绍：航摄影像的密集匹配可以对单个立体影像对、也可以对多度重叠的多视影像序列进行。在获得影像的内外方位元素或者影像的相对方位元素的前提下，实施过程大体分为核线影像生成、匹配代价计算、匹配代价聚合、视差计算与精华、三维点云生成几个主要步骤。其一般流程可描述为下图：  由上面的描述，我们可以知道，核线影像生成是航摄影像密集匹配的第一步,目的是利用核线相关的该概念将沿x、y方向搜索同名像点的二维相关问题转化为沿核线搜索同名像点。为了生成核线影像，需要

通俗解释  马尔可夫随机场(Markov Random Field)可用于解决离散的优化问题，每个标签是独立的，非连续。通常包含两层意思：  马尔可夫性质：它指的是一个随机变量序列按时间先后关系依次排开的时候，第N+1时刻的分布特性，与N时刻以前的随机变量的取值无关。拿天气来打个比方，如果我们假定天气是马尔可夫的，其意思就是我们假设今天的天气仅仅与昨天的天气存在概率上的关联，而与前天及前天以前的天气没有关系。其它如传染病和谣言的传播规律，就是马尔可夫的。  随机场：当给每一个位置中按照某种分布随机赋予

文章目录PatchMatch算法原理PatchMatch算法详情>深度图初始化>patch初始化>深度图传播优化>深度图获取与优化参考文献与代码框架PatchMatch算法原理  以下图为例，ci,cj是一对图像的中心，p是ci上的一个像素点，在该点的viewray(ci,p)上找到一个平面使得与邻域帧cj的聚合代价最小，这个平面f2就是我们要重建的曲面的切平面。PatchMatch算法详情>深度图初始化  与SGM中深度图初始化一致，不再赘述。>patch

深度图(depth)/视差图(disparity)  三维点云(point cloud)  三维网格(mesh)  纹理贴图模型(texture mesh)  

文章目录算 法 流 程 介 绍>深度图初始化>匹配代价计算>代价聚合>视差图获取>视差图优化后处理SGM 算 法 原 理 详 解>深度图初始化>匹配代价计算>代价聚合>视差计算>视差优化tSGM 原 理 介 绍参 考 文 献 与 代 码 整 体 框 架算 法 流 程 介 绍>深度图初始化>匹配代价计算>代价聚合>视差图获取>视差图优化后处理SGM 算 法 原 理 详 解>深度图初始化>匹配

文章目录三 维 重 建 流 程稠 密 重 建 整 体 框 架深 度 图 计 算>代码流程图>数据准备>>图像映射>>邻域帧选择>>最佳邻域帧选择三 维 重 建 流 程稠 密 重 建 整 体 框 架  openMVS稠密重建整体框架如上图所示，其输入为图像、位姿以及稀疏点云，输出深度图以及稠密点云。深 度 图 计 算>代码流程图>数据准备>>图像映射  这一步的目的主要是跳过无效的、未标定的或被丢弃的图像。具体如下图

基本原理在给定的滑动窗口大小下，对每个窗口内的像素值进行快速相加求和。它可以将复杂度为0(MN)的求和、求方差等运算降低到O(1)或近似于O(1)的复杂度。BoxFilter初始化过程1）给定一张图像，大小为M*N，首先确定待求矩形模板的宽高(m,n),如图紫色区域。图中每个黑色方块代表一个像素。2）开辟一段大小为M的数组，记为buff，用来存储计算过程的中间变量，用红色方块表示。3）将矩形模板(紫色)从左上角（0，0)开始，逐像素向右滑动，到达行末时，矩形移动到下一行的开头(0,1)，如此反复，

基本原理双边滤波器是一种常用的保边去噪声的滤波器，基于双边滤波的代价聚合策略根据邻域像素点与中心像素点的灰度距离和空间距离来决定代价聚合权值。与中心像素的距离越近的邻域像素，认为其与中心像素的距离关联就越密切，为其分配的聚合权值就越大，反之亦然。式中：Δ\DeltaΔIpqpqpq和Δ\DeltaΔSpqpqpq分别表示p,q两点的灰度距离和空间距离。uppp和vppp分别代表像素点P对应的横坐标和纵坐标。聚合权重可以表示为：式中：σ\sigmaσIII和σ\sigmaσSSS分别是决定灰度距离

基本原理在GF中，有一个引导图像I和一个需要过滤的图像，两者之间并非要完全不同，也就是说它们可以是相同的图像。wkkk是为像素k构建的一个滤波窗口，q是输出像素的值。在这里，我们认为q和I在每个窗口满足线性变换，则公式表达为：式中akkk，bkkk为每个窗口中的线性系数，在不同的窗口中有不同的取值。同时由于▽q = a▽I,还可以保证滤波过程中q和I在边缘处保持一致。它们的值是通过最小化成本函数E(akkk,bkkk)获得的，该成本函数被定义如下：式中，ϵ\epsilonϵ是用来约束较大的akk

简介基于置信传播的立体匹配算法是一种经典的全局立体匹配算法，其主要思想是在立体匹配过程中引入置信度的概念，置信度表示相邻节点的不同视差标记的可信度，通过一定迭代次数的消息迭代传播个更新后，全局能量函数区域稳定，该节点的最优视差就是使得后验概率最大处节点的视差标记。标准置信传播算法思想置信传播算法将待匹配空间看作是三个耦合的马尔可夫随机场，把视点图像中的像素点与MRF中的节点一一对应起来，然后对MRF网络节点间的消息进行迭代更新与传播，迭代完成后，求出所有节点的置信度值，最后通过结点的置信度得到稠密的视

文章目录前言流程图关键步骤前言目前主流的SfM（Structure from Motion，运动结构恢复）可以分为三大类型，一种是全局式的，一种是增量式的。全局式sfm是先对所有的图像计算匹配关系、进行三角化生成三维点、通过pnp估计出位姿，然后用BA（Bundle Adjustment）进行一个整体的优化。增量式sfm则是一边三角化和pnp，一边进行局部ba。流程图关键步骤特征点提取与匹配：在无序图像中两两进行匹配，得到相应的匹配点；图像连接图构建：从给定文件中读取焦距f，由相应匹配点

文章目录前言基础知识重投影重投影误差最小化重投影误差求解方法最速下降法算法介绍算法流程牛顿法算法介绍算法流程Levenberg-Marquardt法算法介绍算法流程增量规方程的求解前言Bundle Adjustment译为光束法平差或者束调整、捆绑调整。BA问题主要是对三维点位置和相机参数进行非线性优化，而我们可以把BA问题看成最小化重投影误差问题，同时这也是一个非线性最小二乘问题。基础知识重投影由前面可知，我们可以通过特征点检测与匹配，得到多对特征匹配点，使用对极几何可以求得相机的位姿。由下

文章目录P3P简介直接线性变换法Kneip算法算法原理及流程基于RANSAC的Kneip算法P3P简介相机位姿求解是SFM中必要的一步，而P3P问题的目的就是通过三维点（3对）对应关系确定摄像机在世界参考坐标系中的位置和方位，通常会产生4对解，然后使用第4对点消除歧义。大多数解决方案是先求出对应的2D点在当前相机坐标系下的3D坐标，然后根据世界坐标系下的3D坐标和当前相机坐标系下的3D坐标求解相机位姿，即直接线性变换法。还有另一种P3P的解法，即Kneip算法，Kneip是一种close-form的P

文章目录简介求解方法直接线性变换法RANSAC鲁棒估计简介三角测量是根据对应图像位置的集合和已知点的摄像机位置确定一个点的3D位置的问题。当给定相机内外参矩阵时，图像上每个特征点实际上对应三维中的一条射线，理想情况下，利用两条射线相交便可以得到三维点的坐标。但是在实际中由于计算或者检测误差，无法保证两条射线的相交性，因此需要建立新的数学模型(如最小二乘)进行求解。当存在多个视角时，解决这一问题的最简单的方式之一是寻找离所有3D射线都最近的那个3D点。求解方法直接线性变换法考虑两个视角的情况，假

文章目录对极约束基础矩阵F基础矩阵性质基础矩阵求解方法1. 直接线性变换法2. 基于RANSAC的鲁棒方法本征矩阵E本征矩阵性质本征矩阵求解从本征矩阵中恢复相机姿态单应矩阵H单应矩阵性质单应矩阵求解直接线性变换求解单应矩阵RANSAC法估计单应矩阵对极约束如图所示，描述的是空间中的一点在左右两个相机中成像，空间点在两个相机的成像点通过外参矩阵R,t建立了一个等式关系，或者称为一种约束关系，这个约束就叫做对极约束。以下两式描述了两个像素坐标x1 和x2的关系。公式推导如下图：基础矩阵F基础矩

文章目录前言一、特征点检测二阶的拉普拉斯高斯边缘提取算法(LOG)尺度不变特征变换算法(SIFT)加速稳健特征算法（SURF)Harris角点特征提取算子加速分割测试特征提取(FAST)特征点检测算子(ORB）二、使用步骤1.引入库2.读入数据总结前言特征点检测与匹配的作用是计算特征点个数达到要求的图像对，使得图像与图像间一直进行传递，从而形成一条轨迹，为SFM重构中的初始图像对以及R、T求解作铺垫。一、特征点检测在特征点检测中，我们主要检测其局部特征点，包括斑点和角点两类特征点。斑点是指图像中

文章目录前言一、针孔模型二、模型内坐标系简介及相互转换1.世界坐标系到相机坐标系2.相机坐标系到归一化像平面坐标系3.归一化像平面坐标系到物理像平面坐标系总结前言基于图像的三维重建从获取多视图像开始，逐步通过相应的算法恢复场景中物体的三维结构。而今，相应的重建算法及流程愈加完善，高效率的三维重建技术也被应用在众多领域当中。接下来就从最基础的相机模型开始，一步一步实现整体的流程。一、针孔模型相机模型是光学成像模型的简化，目前有线性模型和非线性模型两种。而针孔成像模型是相机成像采用最多的模型，成像原