基于薄板样条与自由形变的非刚体图像拼接系统设计与实现

摘要：非刚体图像拼接是计算机视觉领域的重要研究方向，广泛应用于场景重建、医学影像对齐、全景生成等任务。传统刚体或透视变换难以处理由于视角变化、镜头畸变或场景形变所引起的局部非线性位移，因此需要更柔性的非刚体配准方法。针对以上问题，本文设计并实现了一个基于薄板样条（Thin Plate Spline, TPS）与自由形变（Free-Form Deformation, FFD）的非刚体图像拼接系统 Neural Warp Studio。

作者：Bob(原创)

项目概述

非刚体图像拼接旨在处理由于视角变化、成像畸变或场景形变所导致的结构不一致问题，是图像配准与图像融合领域的重要研究内容。与传统基于刚体或仿射变换的拼接方法相比，非刚体方法能够更有效地描述局部非线性形变，从而提高拼接图像的几何一致性和融合质量。本文针对现有方法在局部形变表达不足、融合边界不自然等问题，设计并实现了一种结合薄板样条（Thin Plate Spline, TPS）与自由形变（Free-Form Deformation, FFD）的非刚体图像拼接系统。

本研究首先采用特征点检测与 RANSAC 筛选策略获取可靠的初始对应点对，并分别构建 TPS 全局光滑变形模型与 FFD 控制网格局部弹性变形模型实现非刚体配准。为进一步提升拼接区域的光照一致性与边缘连续性，本文引入亮度漂移校正及拉普拉斯金字塔多尺度图像融合方法，有效抑制了传统拼接方法中常见的边缘断裂与亮度突变现象。此外，系统集成峰值信噪比（PSNR）和结构相似性指数（SSIM）对拼接结果进行客观量化评价，以验证方法有效性。

实验结果表明，TPS 模型在大多数自然场景图像中能够获得更高的 PSNR 和 SSIM，形变场更平滑，融合边界更自然；FFD 模型在局部结构对齐方面具有一定优势，但整体一致性略逊于 TPS。综合实验结果表明，本文提出的系统能够稳定实现多场景下的非刚体图像拼接，具有良好的鲁棒性和应用价值。

系统设计

本系统采用特征匹配、非刚体配准与多尺度融合相结合的设计，实现了对输入图像的精确对齐与高质量拼接。

图1 系统整体流程图

硬件配置

该系统硬件配置如上，如果您的电脑配置低于下述规格，运行速度可能会与本系统的存在差异，请注意。

表1 惠普(HP)暗影精灵10台式整机配置(系统硬件配置)

软件环境

对本实验所需的各类软件及工具的基本信息进行了清晰汇总。

表2 系统软件配置(真实运行环境)

运行展示

运行login.py

图2 登录界面

图3 注册界面

图4 注册成功

图5 系统主界面

图6 原始图像1、原始图像2、拼接结果（TPS 配准）

说明：TPS 配准效果较好，图像拼接较为平滑，但可能有轻微的失真或接缝问题。

图7 原始图像1、原始图像2、拼接结果（TPS 配准）

说明：TPS 配准效果优秀，图像融合非常好，接缝几乎不可见，质量较高。

图8 原始图像1、原始图像2、拼接结果（TPS 配准）

说明：TPS 配准效果非常好，图像细节保留较好，接缝很自然。

图9 原始图像1、原始图像2、拼接结果（TPS 配准）

说明：TPS 配准效果理想，图像对比度较高，整体拼接质量极佳。

图10 原始图像1、原始图像2、拼接结果（TPS 配准）

说明：TPS 配准效果很好，接缝处处理得较好，图像保真度较高。

图11 原始图像1、原始图像2、拼接结果（FFD 配准）

说明：FFD 配准效果较差，接缝较为明显，图像质量相对较低。

图12 原始图像1、原始图像2、拼接结果（FFD 配准）

说明：FFD 配准效果有所改进，图像细节较好，但接缝问题仍然存在。

图13 原始图像1、原始图像2、拼接结果（FFD 配准）

说明：FFD 配准效果一般，图像质量适中，接缝较为明显。

图14 原始图像1、原始图像2、拼接结果（FFD 配准）

说明：FFD 配准效果尚可，接缝较为自然，整体图像质量中等。

图15 原始图像1、原始图像2、拼接结果（FFD 配准）

说明：FFD 配准效果较好，图像接缝较为自然，质量较为中等。

根据不同的拼接模式，TPS 适用于大多数情况，提供了更为平滑和自然的拼接效果，而 FFD 则更适合局部的弹性配准，但效果上稍显不足，尤其在大面积图像拼接时可能会遇到更多的接缝问题。