计算机视觉中的多特征相似性轮廓分组与纹理退化描述符评估
在计算机视觉领域,轮廓分组和纹理处理是两个重要的研究方向。多特征相似性在轮廓分组中能够显著提升分组质量,而寻找与人类视觉高度相关的纹理退化描述符对于纹理压缩的视觉性能优化至关重要。
多特征相似性在轮廓分组中的应用
-
信息聚类算法
信息聚类方法将聚类视为最大化簇内元素平均相似度和最小化簇成员描述复杂度之间的权衡。其目标是为每个数据元素找到一个概率分配到簇的方式,以最大化目标函数:
[F = \langle s\rangle - T I(C; i)]
其中,(\langle s\rangle = \sum_{C = 1}^{N_C} P(C)s(C)) 是从每个簇中随机选择元素的平均相似度,(I(C; i) = \frac{1}{N} \sum_{i = 1}^{N} \sum_{C = 1}^{N_C} P(C|i) \log \left(\frac{P(C|i)}{P(C)}\right)) 是簇变量 (C) 和元素变量 (i) 之间的互信息,(T) 是拉格朗日乘数。
[s(C) = \sum_{i_1 = 1}^{N} \sum_{i_2 = 1}^{N} \cdots \sum_{i_r = 1}^{N} P(i_1|C)P(i_2|C) \cdots P(i_r|C)s(i_1, i_2, \cdots, i_r)]
这里的相似度度量 (s(i_1, i_2, \cdots, i_r)) 是 (r(r > 2)) 个元素之间的集体相似度度量,对于涉及多特征分组线索的轮廓分组任务非常有用。 -
轮廓分组流程
- 边缘检测与线段形成 :使用 pb 边缘检测器获取边缘点,再用 edgelink 算法形成小线段(edgels)。
-
多特征分组线索
:对于每个 edgel,计算其两侧区域的平均灰度值。通过计算这些灰度值的方差来定义多个 edgels 之间的相似度:
[s(i_1, i_2, \cdots, i_r) = e^{-\frac{var_1^2(i_1, i_2, \cdots, i_r)}{\sigma_1^2}} \cdot e^{-\frac{var_2^2(i_1, i_2, \cdots, i_r)}{\sigma_2^2}}]
其中,(var_1(i_1, i_2, \cdots, i_r) = \frac{\sum_{i = 1}^{r}(x_i - \bar{x})^2}{r - 1}),(var_2(i_1, i_2, \cdots, i_r) = \frac{\sum_{i = 1}^{r}(y_i - \bar{y})^2}{r - 1}),(x) 和 (y) 分别代表两个灰度值,(\sigma_1) 和 (\sigma_2) 是两个方差的先验知识。 - 聚类过程 :基于信息聚类算法,通过迭代更新 (P(C|i)) 来实现聚类。
Algorithm 1. Information-based clustering algorithm with multi-feature similarity
Input:
– parameter T and convergence parameter ϵ (we set T = 1/25 and ϵ = 1×10−10 in our experiment)
– number of clusters NC
– number of elements r in similarity measure s(i1, i2, · · ·, ir)
Output: “soft” partition of the N elements into NC clusters.
Initialization:
1. m = 0
2. For each element i = 1, · · ·, N: P (m)(C|i) ← random distribution.
While True
For each element i = 1, · · ·, N:
1. update P (m)(C|i):
P (m+1)(C|i) = P (m)(C) / Z(i;T) · exp (1 / T [rs(m)(C; i) − (r − 1)s(m)(C)])
where
– s(C; i) = ∑N i1 = 1 · · · ∑N ir−1 = 1 P(i1|C) · · · P(ir−1|C)s(i1, · · ·, ir−1, i)
– s(C) = ∑N i1 = 1 ∑N i2 = 1 · · · ∑N ir = 1 P(i1|C)P(i2|C) · · · P(ir|C)s(i1, i2, · · ·, ir)
– P(i|C) = P(C|i)P(i)/P(C), P(C) = ∑N i = 1 P(C|i)P(i), P(i) = 1/N
– Z(i; T) = ∑NC C′ = 1 P(C ′|i)
2. m = m + 1
3. if |P (m+1)(C|i) − P (m)(C|i)| ≤ ϵ, break.
以下是轮廓分组流程的 mermaid 流程图:
graph TD;
A[边缘检测] --> B[形成 edgels];
B --> C[计算多特征分组线索];
C --> D[聚类过程];
-
实验结果与分析
通过实验比较了使用多特征相似性和成对相似性的聚类算法。实验选取灰度图像,仅考虑灰度值信息。结果表明,使用 3 - 特征相似性的 Iclust 算法在区分不同对象轮廓和提取单个显著对象轮廓方面表现更优,具有更稳定和更好的分组性能,说明多特征相似性更鲁棒,对特征描述质量不太敏感。
| Image Label | Performance Measure | Ncut | Iclust(pairwise) | Iclust(3 - feature) |
|---|---|---|---|---|
| Fig.4 (a) | Precision | 0.78 | 0.50 | 0.60 |
| Recall | 0.54 | 0.85 | 0.89 | |
| β | 0.65 | 0.65 | 0.73 | |
| Fig.4 (g) | Precision | 0.41 | 0.47 | 0.78 |
| Recall | 0.70 | 1.00 | 0.95 | |
| β | 0.54 | 0.68 | 0.86 | |
| Fig.4 (m) | Precision | 0.57 | 0.44 | 0.59 |
| Recall | 0.64 | 0.92 | 0.85 | |
| β | 0.60 | 0.64 | 0.71 |
纹理退化描述符的心理物理评估
-
研究背景与动机
在计算机视觉中,准确呈现材料的外观是一项具有挑战性的任务。基于视图和光照的纹理表示可以获得准确的表面纹理,但会产生大量数据集,因此压缩是必要的。为了优化压缩方法的视觉性能,需要找到与人类视觉高度相关的纹理描述符,以自动调整压缩参数。 -
测试数据设计
- 纹理样本 :使用五种不同的视图和光照相关的纹理样本,由双向纹理函数(BTF)表示,每个样本包含 81 个光照方向和 81 个视图方向,共 6561 张分辨率为 256 × 256 像素的纹理图像。
- 立方体形状与光照 :测试图像中的立方体三个可见面具有不同的几何形状,包括 I - 宽凹痕、R - 随机凸起、B - 宽凸起、F - 平面、H - 水平波浪、V - 垂直波浪。使用左右方向的定向光进行照明。
- 纹理退化模拟 :使用三种滤波器模拟纹理压缩的可能效果,分别是 A - 照明/视图方向下采样到 50%、B - 空间滤波(3×3 核平均)、C - 空间滤波(5×5 核平均)。
以下是测试数据设计的 mermaid 流程图:
graph TD;
A[选择纹理样本] --> B[设置立方体形状];
B --> C[确定光照方向];
C --> D[应用纹理退化滤波器];
D --> E[生成测试图像];
-
测试的描述符
测试了基于结构相似性、视觉差异预测器、局部二值模式、Gabor 特征和二维因果自回归马尔可夫随机场模型的五种描述符。通过对十二名受试者进行心理物理实验来评估这些描述符的性能。
综上所述,多特征相似性在轮廓分组中具有显著优势,而与人类视觉高度相关的纹理退化描述符对于纹理压缩的优化具有重要意义。未来的研究可以进一步探索更多的图像数据和参数值,以及其他的分组线索和描述符。
计算机视觉中的多特征相似性轮廓分组与纹理退化描述符评估
实验设置与结果讨论
-
实验设置
为了评估纹理退化描述符的性能,进行了一项心理物理实验。实验选取了十二名受试者,让他们观察测试图像。测试图像包含了之前设计的不同纹理样本、立方体形状、光照条件以及经过纹理退化处理的图像。受试者需要对图像中纹理的退化程度进行主观评价。 -
结果讨论
通过对受试者的评价结果与各描述符的计算结果进行对比分析,发现基于二维因果自回归模型的描述符与心理物理结果具有最高的相关性。这意味着该描述符能够最准确地反映人类视觉对纹理退化的感知。
以下是不同描述符与心理物理结果相关性的表格:
| 描述符类型 | 与心理物理结果的相关性 |
| — | — |
| 结构相似性 | 低 |
| 视觉差异预测器 | 中等 |
| 局部二值模式 | 中等 |
| Gabor 特征 | 中等 |
| 二维因果自回归模型 | 高 |
描述符性能评估
通过实验数据对各描述符的性能进行了评估。评估指标主要考虑描述符与人类视觉感知的相关性,以及其在不同纹理样本、形状和光照条件下的稳定性。
-
相关性评估
:如上述表格所示,基于二维因果自回归模型的描述符在相关性方面表现最佳,能够更好地模拟人类视觉对纹理退化的判断。
-
稳定性评估
:在不同的纹理样本、立方体形状和光照条件下,该描述符也表现出了较好的稳定性,说明其具有较强的鲁棒性。
以下是描述符性能评估的 mermaid 流程图:
graph TD;
A[实验数据] --> B[相关性评估];
A --> C[稳定性评估];
B --> D[得出描述符性能结论];
C --> D;
总结与展望
-
总结
本文围绕计算机视觉中的多特征相似性轮廓分组和纹理退化描述符评估展开了研究。在轮廓分组方面,信息聚类算法结合多特征相似性能够显著提高分组质量,尤其是 3 - 特征相似性在实验中表现出更稳定和更好的分组性能。在纹理退化描述符评估方面,通过心理物理实验发现基于二维因果自回归模型的描述符与人类视觉结果具有最高的相关性,可用于自动检测渲染纹理表面的细微变化。 -
展望
未来的研究可以从以下几个方面展开:- 轮廓分组 :测试更多的图像数据和不同的参数 (r) 值,进一步探索多特征相似性的潜力。除了使用方差计算多特征相似性外,研究其他的分组线索,以提高轮廓分组的准确性和鲁棒性。
- 纹理退化描述符 :尝试更多类型的纹理样本和更复杂的光照条件,以验证描述符的通用性。结合其他计算机视觉技术,如深度学习,开发更高效、更准确的纹理退化描述符。
通过不断的研究和探索,有望在计算机视觉领域实现更精确的轮廓分组和更优化的纹理压缩,为虚拟现实、文化遗产数字化等应用提供更好的技术支持。
383



被折叠的 条评论
为什么被折叠?



