图像拼接IEEE trans——Multi-Viewpoint Panorama Construction With Wide-Baseline Images Images

简介

文章源自IEEE TRANSACTIONS ON IMAGE PROCESSING
在这篇论文中，我们提出了一种用于广角基线图像的拼接方法。我们的主要贡献是采用基于网格的框架，结合各种项来优化图像对齐。引入了一种新颖的尺度保持项，使得对齐几乎平行于图像平面，同时仍允许进行局部透视校正。一种新的接缝切割模型减少了由于难以处理传统接缝切割算法[8]，[9]中的误对齐而引起的视觉伪影。图1展示了一个具有挑战性的城市场景示例，其中包含了14张在不同位置拍摄的图像。我们生成的全景图具有视觉吸引力。

1.主要工作

1.特征匹配后离群点剔除
2.网格优化，设计了新的约束项
3.接缝生成，在传统的色差的基础上添加了对准误差作为约束项

2.离群点剔除

对于每个特征点，我们假设在它的局部区域有一个平面，所以所有的邻居都近似在同一个平面上。对于任意两个特征点，当其距离小于$r$时，我们将其视为相邻点。我们使用DLT[29]对所有相邻特征对应拟合一个单应性，并计算残差。如果误差小于阈值γ，我们将其标记为内线。在我们的实验中，我们一般设$R$ = 50，$\gamma$ = 5。

3.网格优化

target图进行网格化，顶点索引:
$$V={\left[\begin{array}{lllllll}{x}_1& y_1& x_2& y_2& \dots & x_m& y_m\end{array}\right]}^{\top }$$
总的能量函数如下：
$$E(V)=E_A(V)+{\lambda }_R{E}_R(V)+{\lambda }_S{E}_S(V)+E_X(V)$$
其中
$E_A(V)$为对齐项，强制相应的特征点被弯曲到相同的位置。
$E_R(V)$是正则化项，鼓励相邻的顶点进行相似的变换。
$E_S(V)$为尺度项，防止图像尺度变化较大。
${\lambda }_R$和${\lambda }_S$是权值，在我们的系统中通常设为1。
$E_X(V)$是一个可选的额外约束，用于更强的正则化。

3.1 Feature Alignment ——$E_A(V)$

将每个特征点表示为四个外围控制顶点的加权和，并使所有特征点的对齐误差最小化。与[16]类似，我们使用双线性插值计算原始网格上的权值，相当于重心表示。
表达式如下： $$\begin{array}{rl}& w_1=\left(v_{3x}-p_x\right)\left(v_{3y}-p_y\right),\\ & w_2=\left(p_x-v_{4x}\right)\left(v_{4y}-p_y\right),\\ & w_3=\left(p_x-v_{1x}\right)\left(p_y-v_{1y}\right),\\ & w_4=\left(v_{2x}-p_x\right)\left(p_y-v_{2y}\right).\end{array}$$
这里我们基于这样一个假设：当网格较小时，对其进行透视投影变换时，可以近似看作仿射变换，即前面提到的权重是不变的。

对于target图上的点 $p_i$,以及reference图上与之匹配的点 $p_j$,在经过网格变形后这一对匹配点将投影到同一画布上得到$p_i^{\ast }$和$q_i^{\ast }$，我们希望的是他们两尽量重合，所以有了下面约束项：
$$\begin{array}{rl}{E}_A(V)& =\sum _{\left(p_i,p_j\right)\in C}\frac{1}{N_{p_i,p_j}}{\Vert p_i^{\ast }-q_i^{\ast }\Vert }^2\\ & =\sum _{\left(p_i,p_j\right)\in C}\frac{1}{N_{p_i,p_j}}{\Vert W_{i}V-W_{j}V\Vert }^2\end{array}$$
其中$C$是所有匹配对的集合

$W_i$是$p_i$的一个2m×2权值矩阵：
$$[\begin{array}{ccccccccc}\dots & w_1& 0& \dots & w_2& 0& \dots & w_3& 0\\ \dots & 0& w_1& \dots & 0& w_2& \dots & 0& w_3\end{array}$$