光谱解混与多视图特征匹配的创新方法
在图像分析和处理领域,光谱解混和多视图特征匹配是两个至关重要的任务。光谱解混旨在从混合的光谱信号中分离出不同物质的光谱特征,而多视图特征匹配则是在多个图像视图中准确找到对应的特征点,它们对于图像理解、场景重建等应用具有关键意义。
光谱解混方法
最优二色超平面恢复
在光谱解混中,为了恢复最优二色超平面,需要固定材料关联概率分布。此时,问题转化为为每个端元 $M$ 找到最优基向量 $z_1(M)$ 和 $z_2(M)$,以最小化式(5)右侧第一项给出的预期材料亲和度:
[
C_{Light} = \sum_{u\in I}\sum_{M\in M} p(M|u)|I(u) - Q(M)I(u)|^2 - L
]
[
\sum_{u\in I} p(M|u)|I(u) - Q(M)I(u)|^2 = \sum_{u\in I} |\sqrt{p(M|u)}I(u) - A(M)b(u, M)|^2
]
其中,$A(M)=[z_1(M),z_2(M)]$,$b(u, M)\triangleq \sqrt{p(M|u)}(A(M)^TA(M))^{-1}A(M)^T I(u)$ 是一个二维列向量。式(6)的右侧是矩阵 $I - J$ 的弗罗贝尼乌斯范数,通过奇异值分解(SVD)操作 $I = U\Sigma V$,可以找到秩最多为 2 的矩阵 $J = U\Sigma^
V$ 来最佳逼近已知矩阵 $I$,其中 $\Sigma^
$ 的非零奇异值是 $\Sigma$ 的两个最大奇异值,$z_1(M)$ 和 $z_2(M)$ 对应于 $I$ 的两个最大特征向量。有了基向量,就可以利用算法估计照明功率谱。
从图像反射率获取端元
在得到照明功率谱后,可以通过照明归一化从输入辐射图像中获取反射率图像。像素 $u$ 处的反射率光谱 $R(u) = [R(u, \lambda_1), \ldots, R(u, \lambda_K)]^T$,其中 $R(u, \lambda) = \frac{I(u,\lambda)}{L(\lambda)}$。像素反射率光谱与材料反射率光谱之间的亲和距离可以基于它们的欧几里得角定义:
[
d(u, M) = 1 - \frac{\tilde{R}(u)^T S(M)}{|S(M)|}
]
其中,$\tilde{R}(u)$ 是将 $R(u)$ 归一化为单位 $L^2$ 范数得到的。此时,解混问题变为找到一组基材料反射率光谱和材料关联概率分布 $p(M|u)$,以最小化成本函数 $C_{Reflectance}$:
[
C_{Reflectance} = \sum_{u\in I}\sum_{M\in M} p(M|u)\left(1 - \frac{\tilde{R}(u)^T S(M)}{|S(M)|}\right) - L
]
通过对 $C_{Reflectance}$ 关于端元反射率 $S(M)$ 求导并令其为零,可以得到最优端元光谱 $S(M) \propto \sum_{u\in I} p(M|u)\tilde{R}(u)$。
材料关联概率恢复
在上述步骤的成本函数中,需要已知材料关联概率 $p(M|u)$。可以通过确定性退火来恢复 $p(M|u)$。确定性退火将拉格朗日乘子 $T$ 视为系统温度,从高温开始,系统在每个温度下最终收敛到热平衡状态,随着温度降低会发生“相变”。在每个温度阶段,算法通过交替对材料关联概率 $P$ 和端元进行最小化步骤,以达到平衡状态。对于材料关联概率的恢复,固定端元集,通过令 $\frac{\partial C_{Entropy}}{\partial p(M|u)} = d(u, M) + T \log p(M|u) + T - \alpha(u) = 0$,可以得到:
[
p(M|u) = \exp\left(-\frac{d(u, M)}{T} + \frac{\alpha(u)}{T} - 1\right) \propto \exp\left(-\frac{d(u, M)}{T}\right)
]
由于 $\sum_{M\in M} p(M|u) = 1$,固定端元集 $M$ 的最优材料关联概率分布由吉布斯分布给出:
[
p(M|u) = \frac{\exp\left(-\frac{d(u,M)}{T}\right)}{\sum_{M’\in M} \exp\left(-\frac{d(u,M’)}{T}\right)}
]
实验结果
使用两个数据集对算法进行验证,包括西蒙弗雷泽大学数据库的 321 张蒙德里安和镜面反射图像,以及 51 个人体对象在 10 种不同光源下拍摄的图像数据库。在多光谱和三色图像数据库上,配置确定性退火过程的初始温度 $T_{max} = 0.02$ 和终止温度 $T_{min} = 0.00025$,采用指数衰减冷却时间表,衰减率为 0.8,每个图像的最大端元数设置为 20。
| 方法 | 多光谱图像(可见光范围) | 多光谱图像(红外范围) | 三色图像(8 位) | 三色图像(16 位) |
|---|---|---|---|---|
| 本文方法 | $6.84 \pm 3.92$ | $4.19 \pm 4.75$ | $8.24 \pm 8.73$ | $7.99 \pm 7.59$ |
| 灰度世界法 | $8.44 \pm 3.03$ | $6.89 \pm 2.23$ | $9.75 \pm 9.4$ | $9.67 \pm 9.25$ |
| 白块假设法 | $11.91 \pm 8.02$ | $8.53 \pm 6.22$ | $7.66 \pm 6.92$ | $7.70 \pm 6.92$ |
| 灰度阴影法(六阶范数) | $8.17 \pm 4.61$ | $5.16 \pm 3.65$ | $6.23 \pm 6.50$ | $6.27 \pm 6.47$ |
| 灰度边缘法(一阶范数) | $6.23 \pm 2.06$ | $2.21 \pm 1.07$ | $6.78 \pm 4.37$ | $6.82 \pm 4.35$ |
| 灰度边缘法(六阶范数) | $8.37 \pm 7.77$ | $6.45 \pm 5.86$ | $6.42 \pm 5.82$ | $6.45 \pm 5.82$ |
从实验结果来看,在多光谱图像上,本文方法明显优于灰度阴影法的所有实例和采用六阶闵可夫斯基范数的灰度边缘法;在三色图像上,本文方法优于灰度世界法,与白块假设法相当,但受图像特性影响较大。在光谱解混任务中,本文方法提取的端元反射率与真实值的平均角度差异在可见光和红外光谱中分别为 8.56 度和 11.49 度,与其他颜色恒常性方法相当。此外,与光谱角映射器(SAM)相比,本文方法生成的端元图更清晰,能够正确标记皮肤和布料区域。
graph TD;
A[固定材料关联概率分布] --> B[寻找最优基向量];
B --> C[奇异值分解];
C --> D[估计照明功率谱];
D --> E[照明归一化获取反射率图像];
E --> F[计算亲和距离];
F --> G[最小化成本函数];
G --> H[恢复材料关联概率];
H --> I[实验验证];
多视图特征匹配方法
引言
在基于图像的多视图重建中,从 2D 投影中选择 3D 点对应关系是非常重要的一步,因为初始对应关系的误差可能导致参数估计不理想。通常使用兴趣点检测器和特征描述符来选择对应点,如 Harris 算子、高斯差分、最大稳定极值区域(MSER)和 Hessian - 仿射等。常见的特征描述符包括尺度不变特征变换(SIFT)、加速稳健特征(SURF)、梯度位置和方向直方图(GLOH)和基于局部能量的形状直方图(LESH)等。然而,仅利用局部信息的匹配方法容易选择许多离群点,因为它没有充分利用场景结构中的丰富信息。
全局几何一致性匹配技术
为了解决上述问题,引入了一种鲁棒匹配技术,该技术在匹配过程的早期阶段通过强制执行全局几何一致性来进行准确的内点选择,无需依赖 3D 重投影。提出了两种全局一致性模型:
1.
3D 刚性变换一致性
:强制所有 2D 视图之间的对应点对与一个共同的 3D 刚性变换一致。通过积累大量相互兼容的对应关系的相互支持,有望将歧义减少到单一的 3D 刚性变换。
2.
二阶兼容性
:将高阶一致性约束降低为二阶兼容性,利用 SIFT 描述符中每个特征点的尺度和方向信息,使可以解释为刚性变换 3D 点投影的 2D 点对应集具有高相互支持。
然后使用博弈论方法选择最大一致的候选匹配集,加强高度兼容的匹配,消除不兼容的对应关系。
graph TD;
A[选择兴趣点] --> B[提取特征描述符];
B --> C[初步匹配];
C --> D[全局几何一致性约束];
D --> E[博弈论选择];
E --> F[输出匹配结果];
综上所述,光谱解混和多视图特征匹配的新方法通过引入创新的模型和优化算法,在实验中展现出了良好的性能。光谱解混方法利用二色反射模型和最大熵原理,结合确定性退火优化,能够有效地估计照明功率谱和端元反射率;多视图特征匹配方法通过强制执行全局几何一致性,避免了传统方法依赖 3D 重投影的局限性,提高了匹配的准确性。这些方法为图像分析和处理领域的相关应用提供了更有效的解决方案。
光谱解混与多视图特征匹配的创新方法
多视图特征匹配方法(续)
实验评估
为了评估该多视图特征匹配方法的有效性,将其与最先进的技术进行了比较,特别是在估计相机参数用于束调整方面。通过在多个数据集上进行实验,验证了该方法在不同场景下的性能。
实验结果表明,该方法在选择准确的特征对应点方面表现出色。与传统方法相比,它能够显著减少离群点的数量,从而提高了相机参数估计的准确性。在一些复杂场景中,传统方法由于无法有效处理局部信息和场景结构的关系,导致匹配结果中包含大量错误的对应点,而该方法通过强制执行全局几何一致性,能够更好地利用场景中的先验信息,从而得到更可靠的匹配结果。
以下是该方法与其他几种常见方法在不同指标上的对比表格:
| 方法 | 匹配准确率 | 离群点率 | 相机参数估计误差 |
| — | — | — | — |
| 本文方法 | 高 | 低 | 小 |
| 传统局部匹配方法 | 低 | 高 | 大 |
| 基于重投影验证的方法 | 中等 | 中等 | 中等 |
从表格中可以看出,本文方法在各个指标上都具有明显的优势。匹配准确率高意味着能够更准确地找到特征点之间的对应关系,离群点率低则说明匹配结果更加可靠,相机参数估计误差小则保证了后续重建过程的准确性。
graph TD;
A[输入多视图图像] --> B[特征提取与描述];
B --> C[初始匹配];
C --> D[全局一致性验证];
D --> E{是否满足一致性};
E -- 是 --> F[输出匹配结果];
E -- 否 --> G[调整匹配];
G --> D;
优势与应用前景
这种基于全局几何一致性的多视图特征匹配方法具有多方面的优势。首先,它在匹配过程的早期阶段就考虑了全局信息,避免了传统方法在后期通过重投影验证来筛选离群点的繁琐过程,提高了匹配效率。其次,该方法利用了场景结构中的先验信息,能够更好地处理复杂场景下的特征匹配问题,如场景的刚性运动、光照变化等。
在实际应用中,该方法具有广泛的应用前景。在计算机视觉领域,它可以用于三维重建、目标跟踪、图像拼接等任务。在机器人领域,它可以帮助机器人更好地感知周围环境,实现自主导航和操作。在虚拟现实和增强现实领域,它可以提高虚拟场景与现实场景的融合效果,为用户带来更加真实的体验。
总结
整体来看,光谱解混和多视图特征匹配的创新方法为相关领域带来了新的解决方案。光谱解混方法通过一系列的数学模型和优化算法,能够准确地估计照明功率谱和端元反射率,在多光谱和三色图像上都取得了较好的实验结果。多视图特征匹配方法则通过引入全局几何一致性和博弈论方法,有效地提高了特征匹配的准确性和可靠性,减少了离群点的影响。
以下是这两种方法的关键步骤总结:
-
光谱解混方法
:
1. 固定材料关联概率分布,寻找最优基向量。
2. 通过奇异值分解估计照明功率谱。
3. 进行照明归一化获取反射率图像。
4. 计算亲和距离,最小化成本函数。
5. 恢复材料关联概率。
6. 进行实验验证。
-
多视图特征匹配方法
:
1. 选择兴趣点,提取特征描述符。
2. 进行初步匹配。
3. 强制执行全局几何一致性约束。
4. 使用博弈论方法选择最大一致的候选匹配集。
5. 输出匹配结果。
这些方法的提出为图像分析和处理领域的发展提供了有力的支持,有望在未来的实际应用中发挥更大的作用,推动相关技术的不断进步。



被折叠的 条评论
为什么被折叠?



