【论文精读】Learning Edge-Preserved Image Stitching from Large-Baseline Deep Homography

一、论文翻译

题目：从大基线深度单应性学习边缘保留图像拼接

0摘要

图像拼接是计算机视觉中一项经典而关键的技术，旨在生成具有宽视场的图像。传统方法严重依赖特征检测，要求场景特征在图像中密集且分布均匀，导致重影效果参差不齐，鲁棒性较差。学习方法通​​常受到固定视图和输入大小的限制，在其他真实数据集上缺乏泛化能力。在本文中，我们提出了一种图像拼接学习框架，该框架由大基线深度单应性模块和边缘保留变形模块组成。（首先，我们提出了一个大基线深度单应性模块来估计参考图像和目标图像在不同特征尺度下的精确投影变换。之后，设计了一个保边变形模块，学习图像从边缘到内容拼接的变形规律，尽可能消除重影效应。）特别是，所提出的学习框架可以拼接任意视图和输入大小的图像，从而有助于在其他真实图像中具有出色泛化能力的监督深度图像拼接方法。实验结果表明，我们的单应性模块在大型基线场景中明显优于现有的深度单应性方法。在图像拼接方面，我们的方法优于现有的学习方法，并显示出与最先进的传统方法相媲美的性能。

1引言

由于有限的视野 (FOV)，单张照片无法显示完整的感兴趣区域 (ROI)。为了解决这个问题，可以通过拼接来自不同观看位置的图像来获得更宽视野的拼接图像，这在自动驾驶 [1]、[2]、沉浸式通信 [3]、虚拟现实（VR）[4]，[5]。
传统的图像拼接方法遵循类似的步骤：特征检测和匹配、图像配准和图像融合。在这些步骤中，最重要的是图像配准，它估计从目标图像域到参考图像域的参数变换模型。通常采用单应变换，可以有效且简单地表示为一个 3×3 的矩阵。然而，单个单应性仅包含从一个平面到另一个平面的转换[6]，而图像中的对象通常处于不同的深度级别。因此，仅使用全局单应性进行拼接经常会产生重影效果。
为了减轻重影效应，已经提出了1#空间变化的翘曲算法[7]-[19]来学习空间自适应翘曲。一幅图像可以被划分为不同的区域，每个区域对应一个唯一的参数变换。通过对目标图像应用自适应变形，图像的重叠区域可以在很大程度上对齐。另一类传统图像拼接是2#接缝驱动图像拼接[20]-[23]。这些方法通过最小化与接缝相关的成本来寻找最佳接缝切割，并通过缝切引导图像融合减少重影效应。然而，这些传统方法的性能在很大程度上取决于特征点密集且均匀分布在图像周围的条件，使得这些方法不够鲁棒。
最近，深度学习方法在光流估计[24]-[28]、单应性估计[29]-[32]等各种计算机视觉任务中的表现优于传统方法。然而，深度图像拼接仍在开发中。在深度图像拼接中，一些方法是1#专门为固定拍摄位置设计的[2]、[33]、[34]，而一些方法是2#通过应用于特征检测的卷积神经网络（CNN）实现的[2]、[33]、[34] ，不能算是完整的深度图像拼接算法。此外，[35]中提出了一种无视图图像拼接网络（VFISNet），它首次在完整的深度学习框架中成功地拼接了具有任意视图的图像。但是，它具有固定输入大小和泛化能力弱的局限性。
考虑到上述传统和学习方法的局限性，我们提出了一种新颖的深度图像拼接框架，以灵活的学习方式拼接来自任意视图和输入大小的图像。（所提出的框架由大基线深度单应性模块和边缘保留变形模块组成。第一个模块实现单应性估计和图像配准，其余模块学习图像从边缘到内容的拼接变形规则。）
对于关键的单应估计阶段，我们发现现有学习方法中存在以下两个常见问题[29]–[32]：1）学习过程仅在单个级别上进行监督。上述方法仅利用最后一次卷积的特征来预测单应性，而忽略了其他卷积层学习到的不同层次的特征。因此，深度特征的利用不足，并且网络很难用单尺度特征估计精确的投影变换。2） 通过卷积层来学习特征的匹配关系效率低下，使得这些方法无法在大型基线场景中工作。在这些方法中，卷积层的感受野受到核大小的限制，而匹配特征之间的距离可以远远大于它。
为了解决上述问题，我们提出了一个大基线深度单应性模块。在这个模块中，（我们首先采用特征金字塔从粗到细提取多尺度特征。然后对全局到局部的特征匹配进行特征关联。我们的网络的感受野可以通过将特征金字塔与特征相关性相结合来显着扩展，使我们的方法能够估计单应性，尤其是在大基线中。）输入图像（图 1（a））可以使用这个估计的单应性进行扭曲。

随后，我们（设计了一个保留边缘的变形模块，将扭曲的图像（图 1（b））从边缘缝合到内容。）与旨在尽可能对齐图像的传统图像拼接方法不同，我们的方法使用边缘保留策略学习图像拼接的变形规则。因为我们的框架是使用无视差合成数据集以监督方式训练的，所以我们的框架学习仅从扭曲的参考图像生成拼接图像的重叠区域，因此在拼接图像中不会产生伪影。然而，如图 1 (d) 所示，仅从扭曲的参考图像中学习重叠像素会在扭曲的参考图像和扭曲的目标图像的非重叠区域之间的边缘产生不连续性。我们的边缘保留变形模块通过学习纠正边缘周围的不连续性来克服这个问题（图 1 (e)），有助于获得视觉上令人愉悦的边缘连续性缝合结果。
在实验中，我们评估了我们的方法的任务单应估计和图像拼接。实验结果表明，我们的方法在很大程度上优于以前的方法，证明了它在深度单应估计和深度图像拼接方面的鲁棒性和有效性。本文的贡献总结如下：
①我们设计了一个大基线深单应模型，首次同时采用特征金字塔和特征相关性。与现有的在小基线场景中估计单应性的深度方法不同，所提出的方法是专为大基线单应性估计而设计的，为深图像拼接奠定了坚实的基础。
②我们提出了一种边缘保持变形网络来缝合扭曲图像，消除了重影效应，同时保持了缝合图像的边缘连续性。
③在所提出的深度图像拼接框架中不可避免地存在完全连通的层的情况下，我们设计了一种灵活的机制，将图像缩放和单应性缩放相结合来拼接任意大小的图像。
本文的其余部分组织如下：第二节介绍了相关工作。第三节讨论了我们提出的大基线深单应模型和边缘保持变形模型。第四节和第五节分别给出了实验和结论。

2相关工作

在本节中，我们将回顾1#传统的图像拼接算法、2#深度单应估计解决方案和3#深度图像拼接方法。

A传统图像拼接

空间变化翘曲： 传统方案使用单个全局单应性拼接图像，导致明显的重影效果[6]。为了构建具有较少伪影的图像全景图，Gao 等人提出了一种双单应性方法（DHW）来分别表示前景和背景的翘曲[8]。为了对齐图像域中的不同区域，在 Zaragoza 等人[10]的工作中，计