全景图像拼接——计算机视觉

一、简述

全景拼接是计算机视觉领域取得的一项早期成就。在2007年，Brown 和 Lowe发表了著名的图像拼接论文。自打那以后，自动全景拼接技术受到广泛应用，例如Google街景地图、智能手机上的全景照片、拼接软件比如Photosynth和AutoStitch。

二、原理

1. 检测并提取图像的特征和关键点
2. 匹配两个图像之间的描述符
3. 使用RANSAC算法使用我们匹配的特征向量估计单应矩阵
4. 拼接图像

步骤一和步骤二过程是运用SIFT局部描述算子检测图像中的关键点和特征，SIFT特征是基于物体上的一些局部外观的兴趣点而与影像的大小和旋转无关。对于光线、噪声、些微视角改变的容忍度也相当高，所以用来检测要拼接图像的特征及关键点就很有优势。
而接下来即步骤三是找到重叠的图片部分，连接所有图片之后就可以形成一个基本的全景图了。匹配图片最常用的方式是采用RANSAC（RANdom SAmple Consensus, 随机抽样一致），用此排除掉不符合大部分几何变换的匹配。之后利用这些匹配的点来**“估算单应矩阵” （Homography Estimation）**，也就是将其中一张图像通过关联性和另一张匹配。
可以在前面博客中找到我对SIFT特征和RANSAC的描述。所以在这里就不多加赘述

在本次实验就简单描述一下以下两个部分：
单应性矩阵
单应性矩阵可以由两幅图像（或者平面）中对应点对计算出来。每个对应点可以写出两个方程，分别对应与x和y坐标。因此，计算单应性矩阵H至少需要4对匹配点，过程如下：

那么就可以每次从所有的匹配点中选出4对，计算单应性矩阵，然后选出内点个数最多的作为最终的结果。计算距离方法如下：