小秋在路上~

图像拼接旨在对同一视图中的一对图像进行对齐。对于图像拼接来说，生成具有自然结构的精确对齐是一个挑战，因为在非共面的实际场景中，没有更宽视场图像作为参考。在本文中，我们提出了一个无监督图像拼接框架，突破了单应性估计中的共面约束，实现了在有限重叠区域下的精确像素级对齐。首先，我们通过迭代密集特征匹配结合误差控制策略来生成全局变换，以减轻由大视差引入的差异。

图像拼接的目的是将两幅视场重叠的图像进行拼接，以扩大视场（FoV）。然而，现有的拼接方法拼接的图像不规则，需要进行矩形化处理，耗时且容易出现不自然的现象。本文提出了第一个端到端框架--矩形输出深度图像拼接网络（RDISNet），该框架可以将两幅图像直接拼接成一幅标准的矩形图像，同时学习图像对之间的颜色一致性并保持内容的真实性。为了进一步保留拼接图像中大对象的结构，我们设计了一个扩张的BN-RCU块来扩展RDISNet的感受野，以提取丰富的空间上下文。

Yan N, Mei Y, Xu L, et al. Deep learning on image stitching with multi-viewpoint images: A survey[J]. Neural Processing Letters, 2023: 1-36.

(补)

传统的图像拼接方法倾向于利用日益复杂的几何特征（例如， 点、线、边等） 以获得更好的性能。然而，这些人工特征只适用于具有足够几何结构的特定自然场景。相比之下，深度拼接方案通过自适应地学习鲁棒的语义特征来克服不利条件，但是它们不能处理大视差的情况。为此，提出了一种具有视差容忍性的无监督深度图像拼接算法（UDIS++）。首先，我们提出一种稳健且具弹性的变形模型，将整体单应性的图像配准模型转换为局部的薄板样条运动。它通过对对齐和变形进行联合优化，为重叠区域提供精确对齐，为非重叠区域提供形状保持。

（补）

（补）

（补）

图像拼接是计算机视觉中一项经典而又具有挑战性的技术，其目的是生成大视场的图像。传统的方法严重依赖于特征点检测，要求特征点在图像中密集均匀分布，导致在低纹理场景下鲁棒性差。由于无法获得真实拼接结果，因此很少研究基于深度学习的方法，在真实数据集上表现出不可靠的性能。为此，提出了一种图像拼接学习框架。该框架由多尺度深度单应性模型和边缘保持变形模型组成。首先设计了一个多尺度深度单应性模型，从粗到细逐步估计出精确的单应性。

Dai Q, Fang F, Li J, et al. Edge-guided composition network for image stitching[J]. Pattern Recognition, 2021, 118: 108019.

传统的基于特征的图像拼接技术严重依赖于特征检测质量，往往无法拼接特征较少或分辨率较低的图像。基于学习的图像拼接方法由于缺乏标记数据而很少被研究，使得监督方法不可靠。针对上述问题，提出了一种无监督的深度图像拼接框架，该框架由两个阶段组成：无监督的图像粗对齐和无监督的图像重建。在第一阶段，我们设计了一个基于消融（ablation-based）的损失来约束一个无监督单应性网络，它更适合于大基线场景。此外，还引入了一个Transformer层，用于在拼接域空间中变形输入图像。

图像拼接是一个被广泛研究的问题，在许多领域有着广泛的应用。传统的基于特征的方法在很大程度上依赖于手工特征的精确定位甚至分布，并且可能在一些困难的情况下失败。虽然有强大的基于深度学习的单应性估计或语义对齐方法，但它们的精度对于图像拼接问题来说不够高。在本文中，我们提出了一个深度神经网络，它可以足够准确地估计单应性，以实现小视差图像的图像拼接。我们网络的关键组件是具有逐渐增加的分辨率和以混合方式构建的匹配成本量的特征图。这两种设计都说明是有助于性能的提高。我们还提出了一个新的拼接定向损失函数，考虑到图像内容。

Li A, Guo J, Guo Y. Image stitching based on semantic planar region consensus[J]. IEEE Transactions on Image Processing, 2021, 30: 5545-5558.

Song D Y, Um G M, Lee H K, et al. End-to-end image stitching network via multi-homography estimation[J]. IEEE Signal Processing Letters, 2021, 28: 763-767.

(补)

Zhang J, Wang C, Liu S, et al. Content-aware unsupervised deep homography estimation[C]//Computer Vision–ECCV 2020: 16th European Conference, Glasgow, UK, August 23–28, 2020, Proceedings, Part I 16. Springer International Publishing, 2020: 653-669.Part of

图像拼接是一项传统但具有挑战性的计算机视觉任务，其目标是获得无缝的全景图像。最近，研究人员开始利用深度学习来研究图像拼接任务。然而，现有的学习方法在图像捕获过程中假设了一个相对固定的视图，因此对灵活视图的泛化能力较差。(这些模型在训练时没有足够考虑到视角的变化，或者训练数据中缺乏足够多样性的视角信息。)为了解决上述问题，我们提出了一种基于全局单应的级联无视图图像拼接网络。这种新颖的图像拼接网络不受图像视图的限制，可以分三个阶段实现。特别地，我们首先从不同的角度估计两个输入图像之间的全局单应性。然后提出了一个