Thin Plate Spline TPS薄板样条变换基础理解

最新推荐文章于 2025-06-18 09:32:41 发布

c0ldHEart

最新推荐文章于 2025-06-18 09:32:41 发布

阅读量5.6k

点赞数 12

CC 4.0 BY-SA版权

文章标签： TPS 薄板样条几何

本文链接：https://blog.youkuaiyun.com/c0ldHEart/article/details/121336266

什么是图像扭曲问题？

给定控制点 $(x_i, y_i)$ 和相应位移点 $(\Delta{x_i}, \Delta{y_i})$ 稀疏对应集，我们需要找到一个映射，且两点之间的 $(x_i + \Delta{x_i}, y_i + \Delta{y_i})$ 尽可能平滑。

一维空间举例，绿色为对应集，需找到蓝色曲线映射，满足形变后控制点重合且之间连线平滑

径向基函数插值

起初，我们只有一组稀疏的控制点对应信息。最简单的方法来推断其他点是一个线性插值，插值点将沿着连接最近的控制点的分段移动，如下所示。

然而，我们想要的是一个通过紧密控制点得到的平滑的插值函数，这就是径向基函数作用。

以每个控制点为中心放一个核函数 $R$ ，那么中间的点由 $f(z)=\sum\alpha_iR(z, x_i)$ 得到。其中 $\alpha_i$ 是 $x_i$ 点周围径向基核函数 $r(x,x_i)$ 的权重。待变化的点 $x$ 离控制点 $x_i$ 越远，受内核影响的程度就越小。一些核由于其中心周围邻近点的密度和大小较大，对整体光滑轮廓的影响比其他核大。

假设有三个控制点，权重 $\alpha_0 ,\alpha_1 , \alpha_2$ 将是下列线性系统的解

$\left[ \begin{array}{c} x'_0 \\ x'_1 \\ x'_2 s\end{array} \right] = \begin{bmatrix} R(x_0, x_0) & R(x_0, x_1) & R(x_0, x_2)\\ R(x_1, x_0) & R(x_1, x_1) & R(x_0, x_2)\\ R(x_2, x_0) & R(x_2, x_1) & R(x_0, x_2) \end{bmatrix} \times \left[ \begin{array}{c} \alpha_0 \\ \alpha_1 \\ \alpha_2 \end{array} \right]$

即 $\vec{\alpha} = R^{-1}\times \vec{x}$

径向基函数可以是高斯核 $e^{\frac{-r^2}{2\sigma}}$ 或 $r^2 log(r)$ ，这是一维情况下的TPS薄板样条函数。

Thin Plate Spline

现在，介绍二维warp下的Thin Plate Spline warping。

给定红色叉点和预期移动到的蓝色圆点，我们想解得两个光滑函数，采样后使得其他离散点可沿x和y方向位移（图中箭头）。

两个光滑函数如下所示

$f_{x'}(x,y) = a_1 + a_xx +a_yy + \sum_{i=1}^N{w_i U(||(x_i, y_i) - (x,y)||)} \\ f_{y'}(x,y) = a_1 + a_xx +a_yy + \sum_{i=1}^N{w_i U(||(x_i, y_i) - (x,y)||)}$

其中前三个系数 $(a_1, a_x, a_y)$ 表示能通过所有控制点 $(x_i, y_i)$ 最逼近x'（或y'）的线性平面， $w_i$ 表示每个控制点的控制权重， $U(||((x_i, y_i) - (x,y))||)$ 表示核函数，例如薄板样条核 $U(r) = r^2log(r)$ ，接受的参数为待移动点与控制点的距离 $||((x_i, y_i) - (x,y))||$ ，下图为薄板样条核可视化，待变换点离内核中心(控制点)越近，它的高度或返回值就越高。

How to solve

每个薄板样条函数的系数 $(a,a_x,a_y,w_i)$ 由以下线性系统解出

$\begin{bmatrix}K & P \\ P^T & O \\ \end{bmatrix} \times \begin{bmatrix}w\\a\end{bmatrix} =\begin{bmatrix}v\\o\end{bmatrix}$

其中 $K_{ij} = U(distance((x_i,y_i), (x_j, y_j))$ , $P$ 由 $(1,x_i,y_i$ )组成

$v$ 是所有控制点组成的向量。第一行 $[K \ \ P]\times[v, o]^T$ 表示由所有 $(x_i,y_i)$ 替代得到的函数 $f_{x'}$ 或 $f_{y'}$

$f_{x'}(x,y) = a_1 + a_xx +a_yy + \sum_{i=1}^N{w_i U(||(x_i, y_i) - (x,y)||)} \\ f_{y'}(x,y) = a_1 + a_xx +a_yy + \sum_{i=1}^N{w_i U(||(x_i, y_i) - (x,y)||)}$

第二行 $[P^T\ \ O]$ 表示系统的额外约束，解释见原paper

$\sum_{i=1}^N{w_i} = 0 \ \ \ \ \ \ (1) \\ \sum_{i=1}^N{w_ix_i} = \sum_{i=1}^N{w_iy_i} = 0 \ \ \ \ \ \ (2)$

假设有三个控制点，则线性系统如下

$\begin{bmatrix} K_{00} & K_{10} & K_{20}&1&x_0&y_0 \\ K_{01} & K_{11} & K_{21}&1&x_1&y_1 \\ K_{02} & K_{12} & K_{22}&1&x_2&y_2 \\ 1 & 1 & 1&0&0&0\\ x_0&x_1&x_2&0&0&0\\ y_0&y_1&y_2&0&0&0\\ \end{bmatrix} \times \begin{bmatrix} w_0\\w_1\\w_2\\a_0\\a_x\\a_y \end{bmatrix} =\begin{bmatrix}x'_0\\x'_1\\x'_2\\0\\0\\0\end{bmatrix}$

总结如下：

由LW=Y解得W矩阵：