计算机视觉——全景拼接原理

图像拼接整体流程

（一）根据给定图像/集，实现特征匹配

特征匹配用来计算图像之间的映射关系，得到每个匹配图像对之间的单应矩阵，结合上一步的映射模型，我们可以得到最终的图像变换序列，结合前面所提到的特征，选取sift特征描述子(关于sift描述，可以看之前的文章)

（二）通过匹配特征计算图像之间的变换结构

一幅图可以变化成另一幅图像处于相同坐标系的图像，有：

平移变换模型：只对图像进行相对于X轴和Y轴的整体平移。仿射变换模型(仿射变换模型共有6个自由度，只要三对对应变换点即可求出一个仿射变换模型。

仿射模型：具有平行保持性，也就是原来平行的直线经过变换后依旧是平行的)投影

变换模型：用于描述相机的平移，旋转，角度变换，变焦等一系列运动。通常使用齐次坐标。投影变换只具有直线保持性，原来是直线投影后一九是直线。

（三）利用图像变换结构，实现图像映射 、

在图像拼接中可以将图像投影到不同平面，如平面模型，柱状，球形等

平面模型：简单通用，进过图像配准后，使用变换模型直接将拼接图像映射到基准图形平面坐标系上。

柱面模型：先将平面图形映射到柱面上，完成拼接后再将结果映射回平面坐标系。

(四)针对叠加后的图像，采用APAP之类的算法对齐特征点

图像配准是将两张场景相关的图像进行映射，寻找其中的关系。Apap流程：提取两张图片的sift特征点对两张图片的特征点进行匹配， 匹配后，仍有很多错误点， RANSAC的改进算法进行特征点对的筛选。筛选后的特征点基本能够一一对应。使用DLT算法，将剩下的特征点对进行透视变换矩阵的估计。因为得到的透视变换矩阵是基于全局特征点对进行的，即一个刚性的单应性矩阵完成配准。为提高配准的精度，Apap将图像切割成无数多个小方块，对每个小方块的变换矩阵逐一估计。非常依赖于特征点对。若图像高频信息较少，特征点对过少，配准将完全失效，并且对大尺度的图像进行配准，其效果也不是很好，一切都决定于特征点对的数量。

（五）通过图割方法，自动选取拼接缝

图是一个具有权值的有向结构，通常采用一些节点，一些有向连接线表示，这些节点是像素值，或其他特征点。寻找代价最小的分割，典型算法是最小割最大流算法。最大流几句诗将图内带权值看作带有流量值的管道，将最大量水从源点送到汇点。

（六） 根据multi-band bleing策略实现融合

融合目的在于拼缝消除, Multi-Band能够达到比较好的融合效果，但是效率低，采用Laplacian（拉普拉斯）金字塔，通过对相邻两层的高斯金字塔进行差分，将原图分解成不同尺度的子图，对每一个之图进行加权平均，得到每一层的融合结果，最后进行金字塔的反向重建，得到最终融合效果过程。

转载自：原文链接：https://blog.youkuaiyun.com/weixin_42424674/article/details/88908967