纹理退化描述符与瓷砖检索系统研究
纹理退化描述符
在纹理退化描述符的研究中,将每种退化的65张图像与其原始对应图像进行比较。比较的图像具有相同的样本、立方体方向和照明方向,唯一的差异是微弱的退化伪影。因此,纹理描述符不需要具有视图或照明不变性。这些描述符主要分为平移不变和非平移不变两类。
非平移不变特征
- 视觉差异预测器(VDP) :模拟已知观看条件下的低水平人类感知,适用于感知上合理检测细微纹理退化伪影的任务。它提供比较图像中概率p > 75%或p > 95%不同的像素百分比,为确保与其他描述符一致,将VDP输出设置为(1 - p),输出范围为(0, 1),输出为1时表示图像相同。
- 结构相似性指数度量(SSIM) :是一种经验度量,与VDP能力相当。它测量图像中R×R窗口(这里使用11×11像素)局部邻域的局部结构相似性。其基本思想是将相似性测量任务分为亮度、对比度和结构的比较,然后将这些独立组件组合成一个相似性函数。单个像素的SSIM有效范围是[-1, 1],值越高表示相似性越高。通过计算所有像素的SSIM值的平均值得到两幅图像的SSIM差异。
平移不变特征
-
马尔可夫特征
:基于多尺度表示,假设每个K分解金字塔级别使用因果自回归模型(CAR)。空间分解使用高斯(GP)或高斯 - 拉普拉斯(GLP)金字塔。估计单个模型参数,并将所有金字塔级别的纹理特征连接成一个公共特征向量。假设每个多光谱纹理由C = 3个光谱平面组成,多光谱纹理像素Yr可以建模为其邻居的线性组合:
[Yr = γZr + ϵr ,Zr = [Y^T_{r - s} : ∀s ∈Ir]^T]
其中Zr是Cη × 1的数据向量,γ是C × Cη未知参数矩阵,白色噪声向量ϵr具有零均值和未知常数协方差矩阵。通过快速、数值稳健和递归统计方法估计参数ˆγ。从CAR参数估计中导出五个颜色不变量,这些纹理特征是照明不变量。由于CAR模型在固定运动方向上分析纹理,因此采用额外方向来捕获补充纹理属性。使用L1、L0.2范数和模糊对比度FC3计算两个特征向量之间的距离。 -
Gabor特征(GF)
:由Gabor滤波器的响应计算得出,Gabor滤波器可视为方向和尺度可调的边缘和线检测器。二维Gabor函数g(r)定义为:
[g(r) = \frac{1}{2\pi\sigma_x\sigma_y} \exp \left(-\frac{1}{2} \left(\frac{x^2}{\sigma_x^2} + \frac{y^2}{\sigma_y^2}\right) + 2\pi iVx\right)]
其中σx、σy、V是滤波器参数。Gabor滤波器与纹理图像的卷积提取给定频率和方向范围的边缘。整个滤波器集通过函数g(r)的四次膨胀和六次旋转获得,滤波器的傅里叶变换覆盖图像的大部分频谱。Gabor特征定义为每个光谱平面分别计算的滤波器响应幅度的均值μj和标准差σj,并连接成特征向量,这些特征向量在L1σ范数下进行比较。对手Gabor特征(OGF)是对彩色纹理的扩展,还分析光谱通道之间的关系。由于实现涉及FFT,Gabor特征仅在每个立方体表面的方形切割中计算。 -
局部二值模式(LBPP,R)
:是纹理微观模式的直方图,通过对每个像素邻域采样的阈值化值形成。对于每个像素,采样其周围的圆形邻域,P是采样点数,R是圆的半径。采样点的值由中心像素值进行阈值化,模式编号形成如下:
[LBPP,R = \sum_{s = 0}^{P - 1} sgn (Ys - Yc) 2^s]
其中sgn是符号函数,Ys是采样像素的灰度值,Yc是中心像素的灰度值。随后计算模式的直方图。由于阈值化,这些特征对任何单调灰度变化不变。通过增大圆形邻域大小进行多分辨率分析,所有LBP直方图被归一化为具有单位L1范数,使用Kullback - Leibler散度计算直方图之间的相似性。测试了LBP8,1和LBP8,3特征的组合,它们可以在灰度图像(灰色)或每个光谱平面(RGB)上分别计算并连接成特征向量。
所有描述符计算原始图像集和每种退化方法获得的图像之间的差异,并将其响应在不同的立方体方向和照明方向上进行平均。需要注意的是,这些纹理特征对由不同形状引起的纹理变形不具有不变性,因此特征仅在相同表面形状之间进行比较。
心理物理实验
进行了视觉搜索实验,以研究受试者识别引入的个体视觉退化的能力,并记录他们的注视点,以分析他们的决策与注视统计之间的关系。
实验刺激
使用大小为1000×1000像素的静态图像,每个图像在四个象限中分别有四个立方体。这种刺激布局是为了避免注视的中心偏差,即观察者倾向于注视屏幕的中心区域。在每个四元组中,三个立方体显示原始数据渲染,另一个显示略有修改的渲染,修改立方体的位置是随机的。立方体的边缘设置为黑色以掩盖潜在的明显纹理接缝,屏幕背景和其余空间设置为深灰色。使用了13种立方体方向和照明方向的条件,结合五个BTF纹理样本和三种不同的滤波器,总刺激数为195(13×5×3)。
参与者
十二名付费观察者(三名女性,九名男性)参与了实验。他们都是学生或大学员工,年龄小于35岁,视力正常或矫正后正常,并且对实验的目的和设计不知情。
实验过程
参与者以相同的随机生成顺序观看195个刺激,并被要求识别哪个立方体的表面纹理与其他三个略有不同。刺激一直显示,直到按下四个响应键之一来识别不同的立方体。刺激呈现之间有一秒的暂停,参与者平均花费约90分钟完成整个实验,实验分为四个阶段。所有刺激都在校准的20.1英寸NEC2090UXi LCD显示器上呈现(60Hz,分辨率1600×1200,色温6500K,伽马2.2,亮度120 cd/m²)。实验在暗室中进行,参与者观看屏幕的距离为0.7m,使得每对球体的视角约为9°。使用Tobii x50红外双目眼动追踪设备记录受试者的注视数据,设备为每个受试者单独校准,以50样本/秒的速率提供注视点的位置和持续时间,最短记录的注视持续时间设置为100 ms。
实验结果
- 响应准确性 :平均而言,受试者能够在67%的刺激中找到修改后的立方体,相对于25%的随机水平而言,这一结果令人惊讶地高。实验后的非正式访谈显示,受试者在不到50%的刺激中确定答案,其余情况下他们认为自己只是猜测。这表明在困难情况下,他们经常成功地依赖低水平视觉感知。不同滤波器的响应准确性表明,滤波器A引入的修改最难察觉,而滤波器C的平滑效果最明显。对于平滑滤波器B和C,不同纹理的成功率相当,但滤波器A的值变化更大。
- 注视点 :十二名受试者进行了62916次持续时间超过100 ms的注视,平均注视持续时间为242 ms。每个刺激平均被注视11 s,通过26次注视完成。从受试者的注视统计数据可以看出,平均每个刺激的注视次数和平均注视刺激的时间与受试者的响应准确性高度负相关,相关系数分别为R(b) = -0.904和R(c) = -0.930。对于皮革和木材样本,受试者在识别修改后的立方体方面不太成功,他们注视刺激的时间更长,注视次数更多,且注视时间更短,推测这是由于这些样本的局部纹理对比度较低,使得检测退化伪影更加困难。
以下是不同描述符与心理物理实验数据的相关性比较表格:
|描述符|参数|速度|特征向量大小|相关性R|
| ---- | ---- | ---- | ---- | ---- |
|SSIM|R (11×11)|∼2 s| - |0.125|
|VDP|R(p>75%)|∼10 s| - |0.107|
|VDP|R(p>95%)|∼10 s| - |0.097|
|CAR|GP 1 2D|∼4 s|195|0.777(FC3),0.787(L0.2),0.677(L1)|
|CAR|GP 1 3D|∼4 s|177|0.550(FC3),0.542(L0.2),0.581(L1)|
|…|…|…|…|…|
|LBP|grey|∼1 s|512|0.610|
|LBP|RGB|∼1 s|1536|0.712|
|Gabor|grey GF|∼8 s|48|0.569|
|Gabor|RGB GF|∼8 s|144|0.578|
|Gabor|OGF|∼8 s|252|0.322|
mermaid流程图如下:
graph LR
A[纹理退化描述符研究] --> B[非平移不变特征]
A --> C[平移不变特征]
B --> B1[视觉差异预测器(VDP)]
B --> B2[结构相似性指数度量(SSIM)]
C --> C1[马尔可夫特征]
C --> C2[Gabor特征(GF)]
C --> C3[局部二值模式(LBPP,R)]
D[心理物理实验] --> D1[实验刺激]
D --> D2[参与者]
D --> D3[实验过程]
D --> D4[实验结果]
D4 --> D41[响应准确性]
D4 --> D42[注视点]
综上所述,在纹理退化描述符的研究中,对不同类型的特征进行了详细的分析和实验验证,通过心理物理实验得到了受试者的响应和注视数据,为后续对描述符性能的评估提供了依据。不同描述符在检测纹理退化方面表现出不同的性能,这些结果对于纹理压缩和渲染方法的优化具有重要意义。
感知评估与讨论
在这部分,通过与心理物理实验中受试者的响应进行比较,来评估所提出描述符的性能。评估基于计算相关系数 (R_{X,Y} = \frac{E[(X - \mu_X)(Y - \mu_Y)]}{\sigma_X\sigma_Y}),其中 (X) 和 (Y) 是被比较的数据向量,即受试者响应和描述符响应,(\mu) 和 (\sigma) 分别是它们的均值和方差。
整体描述符的比较结果如下表所示:
|描述符|相关系数表现|计算速度|特征向量大小 (ℓ_{FV})|
| ---- | ---- | ---- | ---- |
|SSIM|性能较低,可能因其平移非不变性,对滤波器 A 引起的轻微纹理平面移动有高响应,且对细微退化敏感性低|约 2 秒| - |
|VDP|性能低,原因与 SSIM 类似|约 10 秒| - |
|CAR 2D|GP 1 时,L0.2 范数下表现最佳;GLP 2 也有较好表现|约 4 秒|不同金字塔级别和维度下大小不同|
|CAR 3D|L1 范数下表现相对较好,但整体不如 2D 变体|约 4 秒|不同金字塔级别和维度下大小不同|
|LBP|RGB 特征与心理物理结果有较高相关性,计算速度快|约 1 秒|RGB 为 1536,grey 为 512|
|Gabor|GF RGB 有一定相关性,OGF 表现较差|约 8 秒|不同类型大小不同|
从结果可以看出,SSIM 和 VDP 描述符性能较低,主要原因一是它们的平移非不变性,会对滤波器 A 导致的轻微、感知上不显著的纹理平面移动给出高响应(在铝样本上最为明显);二是它们对测试的非常细微的退化敏感性较低。CAR 模型中,虽然 3D CAR 的特征向量比 2D 稍短,但性能不如 2D 变体。对于 CAR 模型,不同的特征向量距离度量表现不同,2D CAR 在 L0.2 范数下表现最佳,3D CAR 在 L1 范数下表现最佳。基于 CAR 模型和 LBP 特征的描述符与心理物理结果有较高相关性。
以下是不同类型描述符最佳参数组合的性能表现:
-
SSIM
:整体性能不佳。
-
VDP (p > 75%)
:性能较低。
-
2D CAR (GP 1)
:使用 L0.2 范数评估特征向量差异时,表现较好。
-
2D CAR (GLP 2)
:有较好的相关性表现。
-
Gabor (GF RGB)
:有一定的相关性。
-
LBP (RGB)
:相关性较高,但响应未完全遵循样本值的趋势。
总体而言,2D CAR 模型在不使用任何金字塔(GL 1),且使用 L0.2 范数评估特征向量差异时,取得了最佳结果。此外,CAR 模型能够根据退化的类型和强度调整金字塔类型和大小。虽然 LBP 特征计算速度快且与人类判断有较高相关性,但其响应未完全反映样本值的趋势,其他变体的 LBP 特征描述能力更差。
基于内容的瓷砖检索系统
系统概述
介绍了一种基于底层多光谱马尔可夫随机场表示的基于内容的瓷砖检索系统。该系统使用经过验证的纹理特征,这些特征源自高效的马尔可夫统计,并补充了局部二值模式(LBP)特征,以表示瓷砖偶尔出现的不均匀性。马尔可夫特征对照明颜色不变,对照明方向变化具有鲁棒性,因此任意照明的瓷砖不会对检索结果产生负面影响。该计算机辅助瓷砖咨询系统从最近的瓷砖生产数字目录中检索瓷砖,使检索到的瓷砖在图案和/或颜色上与查询瓷砖尽可能相似。
系统优势及应用场景
陶瓷瓷砖是建筑行业广泛使用的装饰材料,瓷砖更换是一个常见问题。手动浏览数字瓷砖目录存在疲劳、注意力不集中和难以检测光线变化等问题。该系统可以自动从瓷砖数字数据库中检索与查询瓷砖视觉上最相似的瓷砖,用户可以要求相似的图案、颜色或两者的组合。此外,该系统还可以很容易地修改用于缺陷检测或产品质量控制。
系统验证
该系统在一个大型商业瓷砖数据库的心理视觉实验中得到验证。通过实验可以证明系统在检索相似瓷砖方面的有效性和可靠性。
结论
研究结果表明,基于因果自回归模型的统计纹理描述符在检测细微纹理差异方面,相对于心理物理研究中人类的判断表现最佳。这些描述符在测试的特征中,最适合根据人类感知自动预测渲染的视图和照明相关表面纹理中的细微感知差异。这一高度需求的特性可作为自动反馈,用于优化纹理压缩和渲染方法的视觉性能。
mermaid流程图如下:
graph LR
A[感知评估] --> B[描述符性能比较]
B --> B1[SSIM]
B --> B2[VDP]
B --> B3[CAR 2D]
B --> B4[CAR 3D]
B --> B5[LBP]
B --> B6[Gabor]
C[瓷砖检索系统] --> C1[系统概述]
C --> C2[系统优势及应用场景]
C --> C3[系统验证]
D[结论] --> D1[因果自回归模型描述符优势]
D1 --> D2[用于纹理压缩和渲染优化]
综上所述,本次研究在纹理退化描述符和瓷砖检索系统方面取得了有价值的成果。纹理退化描述符的研究为纹理处理和分析提供了理论和实践依据,而瓷砖检索系统则为建筑行业的瓷砖更换问题提供了有效的解决方案。未来可以进一步探索这些描述符和系统在更多领域的应用,以及对其进行优化和改进。



被折叠的 条评论
为什么被折叠?



