图像拼接文献阅读ECCV2016——SEAGULL: Seam-Guided Local Alignment for Parallax-Tolerant Image Stitching

最新推荐文章于 2024-05-03 12:38:39 发布

原创

最新推荐文章于 2024-05-03 12:38:39 发布 · 930 阅读

5 ·

CC 4.0 BY-SA版权

文章标签：

#计算机视觉 #无人机 #opencv #图像处理

文章介绍了一种改进的图像拼接方法SEAGULL，它通过结合超像素分割和结构保持的局部对齐，利用接缝引导优化过程，有效处理大视差问题。方法包括粗对齐生成、接缝质量改进和结构保真的精对齐。

SEAGULL: Seam-Guided Local Alignment for Parallax-Tolerant Image Stitching

简介
1.整体流程
2.Alignment Hypotheses Generation（粗对齐）
3.Structure-preserving warp（精对齐）
4. 总结
reference

简介

图像拼接中的大视差是一个具有挑战性的问题。全局对齐通常会引入明显的伪影。常见的策略是进行部分对齐，以便更容易寻找用于拼接的良好缝隙。与现有方法不同的是，我们明确地使用估计的缝隙来引导优化局部对齐的过程，从而使缝隙质量在每次迭代中得到改进。此外，我们引入了一种新颖的保持结构的变形方法，用于在变形过程中保留显著的曲线和直线结构。这些措施显著提高了我们的方法在处理大视差下的各种具有挑战性的图像时的效果。

1.整体流程

在这里插入图片描述
第一步：
使用基于超像素分割的方法分割图像，然后用本文设计的迭代生长方法生成一系列的超像素组，使用每个超像素组进行单应变换，从而形成多个粗对齐（图中alignement hypothesis）
第二步：
1.对于每个alignement hypothesis使用文献【15】的方法生成接缝
2.根据当前对齐误差和匹配点与当前估计接缝的距离对当前的alignement hypothesis进行加权（获得一个权重 $\omega$ ,用在后续的Structure-preserving warp中，作为其中一个优化项的系数）
第三步：
对于每个alignement hypothesis结合前面获得的 $\omega$ ，进行Structure-preserving warp（精对齐），多次迭代，当网格顶点位置与前一次迭代相比变化不大(平均变化小于1个像素)或迭代次数超过5时，迭代终止。选取最终seam评分最高的精对齐，作为最终的拼接结果

2.Alignment Hypotheses Generation（粗对齐）

文章考虑到还是在重叠区域进行局部对齐，采取的是基于超像素的特征分组方法具体步骤如下：

特征匹配：使用SIFT算法获取初始的特征匹配。
超像素分割：按照文献[1]中方法对目标图像进行超像素过分割。
去除异常：使用RANSAC剔除每个超像素中的异常特征点
特征分组：只使用包含特征点的超像素，一开始所有超像素被标记为：未分组
生长过程：从未分组的超像素中选择具有最多特征的超像素，作为初始化超像素组。然后，逐个检查其相邻未分组超像素，如果加入到该组后的单应性拟合误差小于阈值（通常为5个像素），则将其添加到该组中。重复这个过程直到不能再添加相邻超像素。
合并过程：对超像素组进行合并，从具有最多特征的组开始，依次尝试将其他组合并到该组，合并后的组的单应性拟合误差应小于阈值。
局部对齐：对每个超像素组进行局部单应性变换，将目标图像进行变形，得到不同的局部对齐假设。通过这种方式，论文得到了一系列局部对齐假设。
丰富假设：为了避免仅生成局部单应性假设，还通过将不同的超像素组合并产生额外的对齐假设，进一步丰富了假设集合。

3.Structure-preserving warp（精对齐）

本文的Seam-Guided Local Alignment 通过迭代以下三个步骤来优化每个alignement
hypothesis。
首先，根据特征匹配的当前对齐误差和当前估计接缝的距离对特征匹配进行加权。
然后，采用一种新的保持结构的变形方法对目标图像进行变形。
最后，基于“彩色边缘图像”估计拼接接缝【15】。当网格顶点位置与前一次迭代相比变化不大(平均变化小于1个像素)或迭代次数超过5时，迭代终止。对于一个相当好的对齐假设，这个过程通常在2
~ 3次迭代中结束。否则，我们将通过设置运行时效率的硬限制5次迭代来提前终止那些糟糕的情况。在迭代终止时，记录最终的拼接接缝质量。

$w=\lambda\left(e^{-\frac{d_m^2}{2 \sigma_m^2}}+\epsilon\right)$