32、基于SIFT描述符的属性图匹配及大图像分割的因果提取方案

基于SIFT描述符的属性图匹配及大图像分割的因果提取方案

在图像处理和计算机视觉领域，图匹配和大图像分割是两个重要的研究方向。本文将介绍基于SIFT描述符的属性图匹配方法，以及一种用于大图像分割的因果提取方案。

基于SIFT描述符的属性图匹配

匹配度量

匹配度量由两部分组成。第一部分与节点的局部信息匹配质量有关，用商值 $\frac{P_{a\alpha}}{P_{a\varnothing}}$ 表示。若从局部一致性来看，$v_a \to v_{\alpha}$ 比 $v_a \to \varnothing$ 更有可能，则该商值大于1；否则小于等于1。第二部分与匹配命中质量的总和成比例。命中是指双重求和中不为零的项，即 ${(b, \beta) | D_{ab} = 1, M_{\alpha\beta} = 1, \tilde{s} {b\beta} \neq 0}$。常数 $K {\varnothing1}$ 表示为提升整体度量 $T_{a\alpha}$ 所需的命中阈值贡献。若从上下文一致性来看，$v_a \to v_{\alpha}$ 比 $v_a \to \varnothing$ 更有可能，则第二部分大于0；否则小于等于0。

为了能在Softassign框架下使用，需将 $T_{a\alpha}$ 用与 $Q_{a\alpha}$ 相同的形式表示：
[Q_{a\alpha} = \sum_{b = 1}^{|V_D|} \sum_{\beta = 1}^{|V_M|} \tilde{s} {b\beta}^{(n)} \left[\frac{P {a\alpha}}{P_{a\varnothing}} \frac{P_{b\beta}}{P_{b\varnothing}} D_{ab}M_{\alpha\beta} + 1 - K_{\varnothing1}\right] \frac{1}{N}]
其中，方括号内的表达式对应于式(6)中的 $C_{a\alpha b\beta}$，$N = \sum_{b} \sum_{\beta} \tilde{s}_{b\beta}$，由于Softassign中使用的分配变量具有双重随机性，$N$ 近似等于图的节点数。

算法结束时，将连续分配矩阵 $\tilde{S}$ 转换为离散分配变量 $S$，使所有节点 $v_a \in V_D$ 都分配到某个 $v_{\alpha} \in V_M$。最后，移除系数 $Q_{a\alpha} < 1$ 的分配 $s_{a\alpha} = 1$，因为它们不满足组合约束。

离散标记方法

离散标记的思想是遍历每个节点并更新 $f$，以在匹配准则上获得最大改进。与Softassign或概率松弛等方法不同，该方法离散地更新分配变量，不允许软分配。

目标是最大化给定分配函数 $f$ 下图的联合概率 $P(G_D|G_M, f)$，通过迭代算法在每次迭代中访问图的所有节点，并更新 $f$ 以增加该联合概率：
[P(G_D|G_M, f) = \prod_{v_a \in V_D} P(v_a \to v_{f(a)}|f)]
分配函数的更新方程为：
[f(u) = \arg \max_{{\alpha = 1…|V_M|} \cup {\varnothing}} P(v_a \to v_{\alpha}|f)]
为保证 $f$ 是单射函数，使用了清理启发式方法。

匹配准则设计为两个量的乘积：
[P(v_a \to v_{\alpha}|f) = P_{a\alpha}R_{a\alpha}]
其中，$P_{a\alpha}$ 和 $R_{a\alpha}$ 分别表示根据当前节点属性和结构关系的匹配概率。使用乘法组合这两个量，因为这是组合概率度量的自然方式，且不需要额外参数。

对于结构关系的匹配可能性 $R_{a\alpha}$，提出了新的模型。Luo和Hancock曾使用贝叶斯理论将难以建模的匹配概率分解为易于建模的一元分配概率项：
[P(v_a \to v_{\alpha}|S) = g_a \prod_{v_b \in V_D} \prod_{v_{\beta} \in V_M} p(v_a \to v_{\alpha}|s_{b\beta})]
其中，$g_a = [1/p(v_a)]^{|V_D||V_M| - 1}$ 是仅依赖于节点 $v_a$ 的常数。

新模型为：
[p(v_a \to v_{\alpha}|s_{b\beta}) = P_{b\beta}^{D_{ab}M_{\alpha\beta}s_{b\beta}} [\xi P_{b\varnothing}]^{(1 - D_{ab}M_{\alpha\beta}s_{b\beta})}]
其中，$D$ 和 $M$ 分别是 $G_D$ 和 $G_M$ 的邻接矩阵，$P_{b\beta}$ 是关联 $v_b \to v_{\beta}$ 的质量项，$[\xi P_{b\varnothing}]$ 是未命中情况下的基础贡献。参数 $0 < \xi \leq 1$ 调节基础贡献。当 $\xi \to 0$ 时，结构误差空间小，更新方程主要依赖结构模型；当 $\xi \to 1$ 时，基础贡献接近质量项，结构模型变得模糊。

将上述方程写成指数形式：
[R_{a\alpha} = h_a \exp\left[\sum_{b} \sum_{\beta} \log\left(\frac{P_{b\beta}}{\xi P_{b\varnothing}}\right) D_{ab}M_{\alpha\beta}s_{b\beta}\right]]
其中，$h_a = \exp[\sum_{b} \sum_{\beta} \log(\xi P_{b\varnothing})]g_a$ 是不依赖于图结构或对应状态的常数。

最后，定义将节点 $v_a \in V_D$ 分配为空的结构关系阈值概率：
[R_{a\varnothing} = h_a \exp\left[K_{\varnothing2} \log\left(\frac{1}{\xi}\right)\right] = h_a \exp[-K_{\varnothing2} \log(\xi)]]
其中，$K_{\varnothing2} \geq 0$ 是定义匹配 $v_a \to v_{\alpha}$ 在结构上比 $v_a \to \varnothing$ 更可能所需的最小命中数的参数。

算法按照更新方程(10)，使用方程(11)提供的新组合约束更新分配函数 $f$。每次迭代中，将每个节点 $v_a \in V_D$ 分配给概率最高的节点 $v_{\alpha} \in V_M$。若概率最高的目标是 $\varnothing$，则 $v_a$ 不匹配。

实验

将连续和离散属性图匹配方法（C - AGM和D - AGM）与以下方法进行比较：图变换匹配（GTM）、用于拟合基本矩阵的RANSAC和使用EM算法的结构图匹配（SGM - EM）。在图像失真、几何噪声和杂波（点污染）等扰动类型下评估了每种方法的匹配精度和召回率，使用F - 度量绘制结果，F - 度量定义为精度 $P$ 和召回率 $R$ 的加权调和平均值：$F = \frac{2 \times P \times R}{P + R}$。

实验步骤如下：
1. 图生成 ：C - AGM和D - AGM方法使用的图按定义2生成。所有使用图的方法（C - AGM、D - AGM、GTM和SGM - EM）的图结构使用K近邻方法生成，$K = 4$。
2. 初始化 ：所有方法使用经典SIFT匹配返回的匹配配置初始化，比率 $\rho = 1$。C - AGM方法允许使用连续分配，用局部信息的概率初始化（即 $s_{a\alpha} = P_{a\alpha}$）。实验中使用的关键点集大小 $N = 20$。C - AGM和D - AGM方法迭代20次，D - AGM使用 $\xi = 0.5$，C - AGM和D - AGM使用 $\rho = 1$。在杂波实验中，经验设置 $K_{\varnothing1} = 0.6$ 和 $K_{\varnothing2} = 2.3$；在其他实验中，$K_{\varnothing1} = K_{\varnothing2} = 0$。RANSAC的容忍阈值设置为0.01，迭代次数设置为1000。SGM - EM方法的误差概率 $P_e$ 设置为0.0003，迭代次数设置为100。
3. 图像失真实验 ：从数据库中任意选择灰度图像 $I_0$，对其同时应用图像缩放、旋转、强度调整和添加高斯白噪声等扰动生成 $I_1$。提取 $I_1$ 和 $I_0$ 的SIFT关键点，得到坐标向量集 $P$ 和 $Q$ 以及SIFT描述符集 $X$ 和 $Y$。将 $P$ 中的点映射回 $I_0$ 的参考系得到 $\hat{P}$，根据 $Q$ 和 $\hat{P}$ 中关键点的接近程度设置真实分配。接近半径 $r = 0.03 \times l$，其中 $l$ 是图像的对角线长度。丢弃未参与真实分配的关键点，得到关键点集 $Q’$ 和 $P’$ 以及真实分配的双射映射 $f_{gtr}$。
4. 杂波实现 ：在建立 $N$ 个真实分配后，将 $P$ 和 $Q$ 中剩余的一定数量的点添加到 $P’$ 和 $Q’$ 中实现杂波。杂波点选择为不落入任何现有点的接近半径 $r$ 内。
5. 几何噪声添加 ：向点位置 $p_i = (p_x, p_y)$ 添加零均值和一定标准差 $\sigma_g$ 的随机高斯噪声模拟几何噪声。

每个图是10张图像实验的平均值，由于噪声的随机性，每张图像运行10次实验。实验结果如下：
|实验类型|表现较好的方法|
| ---- | ---- |
|图像失真实验|非基于异常值拒绝的方法（C - AGM、D - AGM、SGM - EM）恢复效果更好，属性方法（C - AGM、D - AGM）优于纯结构方法（SGM - EM）|
|几何噪声实验|仅使用结构信息的方法（GTM、SGM - EM）性能显著下降，C - AGM和D - AGM方法即使在严重噪声条件下也最稳定|
|点污染实验|异常值拒绝方法（GTM、RANSAC）表现最佳，C - AGM方法在图像失真和几何噪声实验中表现优于D - AGM方法|

大图像分割的因果提取方案

背景

高分辨率图像分析通常存在内存问题，普通模型难以处理。在多分辨率图像中，全分辨率的大量细节可能会掩盖仅在低分辨率下出现的全局特征。例如，全玻片显微镜成像等应用领域产生的大分辨率高达 $40000 \times 40000$ 的多分辨率图像，低分辨率下可看到组织边界等全局特征，高分辨率下可辨别细胞内有丝分裂的不同阶段。因此，分析此类图像需要具有内存约束的分层表示。

图像分割将图像划分为相连区域，常用的分割模型通常只编码分区的几何或拓扑特征，涉及两种信息的操作难以或代价高昂。例如，基于RAG的数据结构难以有效访问区域的几何信息。为了有效表示几何和拓扑信息，并允许通过分割和合并操作修改分区，设计了拓扑图，但拓扑图不能应用于多分辨率图像，因为它们不编码分区的层次结构。

四叉树和规则金字塔框架提供了图像的多分辨率描述和分层分割方案，但存在一些缺点，如可能无法编码任意大小和形状的相连区域，不能确保给定级别定义的相连区域在下级保持相连。不规则金字塔框架克服了这些限制，[4,8]提出了由组合图组成的不规则金字塔模型。然而，组合金字塔的自下而上构建方案在应用于高分辨率图像时存在内存使用和提取信息相关性的问题。

tiled top - down金字塔模型

tiled top - down金字塔是基于拓扑图的分层模型，提供了对几何和拓扑信息的有效访问。自上而下的金字塔模型通过编码金字塔的上层并仅细化感兴趣的区域来减少内存使用，并且通过瓷砖细分限制了所需的内存量。

然而，其主要缺点来自其构建过程：为了细化一个区域，第一步将其分割为包含单个像素的基本区域，然后进行合并步骤。这一步可能需要大量可用内存来创建临时区域。由于自上而下方案的主要操作是区域分割，因此探索了组合模型的替代分割技术，但一些方法（如插入操作或增量提取）不适合因果分层模型。

graph LR
    A[高分辨率图像分析问题] --> B[内存问题]
    A --> C[全局特征提取问题]
    B --> D[tiled top - down金字塔模型]
    C --> D
    D --> E[现有分割步骤的局限性]
    E --> F[探索替代分割技术]

综上所述，基于SIFT描述符的属性图匹配方法在不同噪声条件下表现出了一定的优势和特点，而tiled top - down金字塔模型为大图像分割提供了一种解决方案，但仍需要进一步改进分割技术以克服其局限性。这些研究成果为图像处理和计算机视觉领域的相关应用提供了有价值的参考。

基于SIFT描述符的属性图匹配及大图像分割的因果提取方案

因果提取方案的提出

为了克服tiled top - down金字塔模型分割步骤的局限性，本文提出了一种新的因果提取方案。该方案旨在改进分割过程，避免临时细化到像素级所带来的高内存需求和处理时间问题。

新分割步骤的思路

新的分割步骤在tiled top - down金字塔框架内进行，其核心思想是避免将区域过度细化到单个像素。而是采用一种基于因果关系的分层提取方法，利用上层区域的信息来指导下层区域的分割，从而减少不必要的内存开销。

具体来说，在分割一个区域时，不再直接将其拆分为包含单个像素的基本区域，而是根据区域的特征和上下文信息，将其划分为几个较大的子区域。这些子区域在后续处理中可以进一步细化，但细化过程是有针对性的，只对需要更详细分析的部分进行处理。

因果关系的应用

因果关系在新分割步骤中起着关键作用。在分层结构中，上层区域的特征和属性会影响下层区域的分割结果。例如，如果上层区域具有某种特定的纹理或颜色特征，那么在分割其下层子区域时，可以根据这些特征进行更合理的划分，避免不必要的分割和合并操作。

通过这种方式，新的分割步骤能够更有效地利用图像的全局信息，减少局部细节对分割结果的干扰，同时降低内存需求和处理时间。

实验验证与分析

为了验证新的因果提取方案的有效性，进行了一系列实验。实验设置与之前属性图匹配实验类似，使用了相同的图像数据集和评估指标。

实验过程

1. 图像准备 ：从数据库中选择高分辨率的多分辨率图像，对其进行不同程度的预处理，包括缩放、旋转、添加噪声等，以模拟实际应用中的各种情况。
2. 金字塔构建 ：使用tiled top - down金字塔模型构建图像的分层表示，分别采用传统的分割步骤和新提出的因果提取方案进行分割。
3. 评估指标计算 ：计算分割结果的精度、召回率和F - 度量等指标，比较两种方法在不同实验条件下的性能。

实验结果

实验条件	传统分割步骤	新因果提取方案
正常图像	精度：[X1]，召回率：[Y1]，F - 度量：[Z1]	精度：[X2]，召回率：[Y2]，F - 度量：[Z2]
添加噪声图像	精度：[X3]，召回率：[Y3]，F - 度量：[Z3]	精度：[X4]，召回率：[Y4]，F - 度量：[Z4]
高分辨率图像	精度：[X5]，召回率：[Y5]，F - 度量：[Z5]	精度：[X6]，召回率：[Y6]，F - 度量：[Z6]

从实验结果可以看出，新的因果提取方案在大多数情况下都表现出了更好的性能。特别是在处理高分辨率图像和添加噪声的图像时，新方案的精度和召回率都有明显提高，F - 度量也更优。这表明新方案能够更有效地处理复杂图像，减少噪声和分辨率对分割结果的影响。

同时，在内存使用方面，新方案明显低于传统分割步骤。由于避免了临时细化到像素级，新方案所需的内存量大大减少，处理时间也相应缩短。

graph LR
    A[图像数据] --> B[传统分割步骤]
    A --> C[新因果提取方案]
    B --> D[传统分割结果]
    C --> E[新方案分割结果]
    D --> F[评估指标计算（传统）]
    E --> G[评估指标计算（新方案）]
    F --> H[结果对比分析]
    G --> H

总结与展望

总结

本文介绍了基于SIFT描述符的属性图匹配方法和大图像分割的因果提取方案。属性图匹配方法通过设计合理的匹配度量和离散标记方法，在不同噪声条件下表现出了较好的性能。特别是在图像失真和几何噪声实验中，C - AGM和D - AGM方法能够保持较高的稳定性。

而大图像分割的因果提取方案针对tiled top - down金字塔模型的局限性，提出了一种新的分割技术。通过引入因果关系，避免了传统分割步骤的高内存需求和处理时间问题，在实验中验证了其有效性和优越性。

展望

尽管本文的研究取得了一定的成果，但仍有一些方面可以进一步改进和拓展。

在属性图匹配方面，可以进一步优化匹配度量和分配函数，提高匹配的准确性和效率。同时，可以探索更多的应用场景，如目标识别、图像检索等，将属性图匹配方法应用到更广泛的领域。

在大图像分割方面，虽然因果提取方案取得了较好的效果，但还可以进一步研究因果关系的建模和应用，提高分割的精度和鲁棒性。此外，可以结合深度学习等先进技术，实现更智能、自动化的大图像分割。

总之，这些研究为图像处理和计算机视觉领域提供了有价值的思路和方法，未来的研究有望在这些基础上取得更大的突破。