基于内容的瓷砖检索系统
1. 引言
纹理是确定表面材料和设计图案的重要线索。准确描述纹理对瓷砖的分类和检索非常有益。若缺乏纹理描述,识别将局限于不同的颜色直方图修改,检索结果会很差。图像检索系统通常结合多种纹理和颜色特征,常见的特征有颜色不变SIFT、局部二值模式(LBP)、Gabor特征等。
不过,自然材料的外观受光照和视角影响很大。大多数基于纹理的分类或分割应用需要在各种光照和视角条件下为每个材料类别拍摄多个训练图像,这种学习方式很笨拙,若所需测量数据不可用,甚至无法实现。常见的光照不变特征如LBP变体对噪声敏感。
为解决这些问题,我们引入了一种瓷砖检索系统,该系统分别表示颜色和纹理。纹理通过基于马尔可夫随机场(MRF)的高效颜色不变特征表示,这些特征对光照方向和高斯噪声退化具有鲁棒性。
2. 瓷砖分析
瓷砖图像分析分为颜色分析和纹理分析两个独立部分,这样可根据用户偏好搜索颜色相似、纹理相似或两者都相似的瓷砖。
2.1 颜色直方图
颜色信息通过累积直方图表示,为每个光谱平面分别计算。累积直方图定义为图像直方图的分布函数,第i个bin $H_i$ 的计算公式如下:
[H_i = \sum_{\ell\leq i} h_{\ell}]
其中,$h_{\ell}$ 是第 $\ell$ 个普通直方图bin。两个累积直方图之间的距离使用L1度量计算。
2.2 CAR纹理特征
纹理分析基于MRF类型的表示,使用高效的因果自回归随机(CAR)模型。估计模型参数并将其转换为颜色不变量,以表征纹理。
假设多光谱纹理图像由 $C$ 个光谱平面组成(通常 $C = 3$)。$Y_r = [Y_{r,1}, \ldots, Y_{r,C}]^T$ 是位置 $r$ 处的多光谱像素,$r = [r_1, r_2]$ 是由行索引 $r_1$ 和列索引 $r_2$ 组成的多索引。光谱平面通过Karhunen - Loeve变换(主成分分析)进行去相关,然后使用一组 $C$ 个二维CAR模型进行建模。
CAR表示假设多光谱纹理像素 $Y_r$ 可以建模为其邻域的线性组合:
[Y_r = \gamma Z_r + \epsilon_r]
[Z_r = [Y_{r - s}^T : \forall s \in I_r]^T]
其中,$Z_r$ 是具有多索引 $r, s, t$ 的 $C\eta \times 1$ 数据向量,$\gamma = [A_1, \ldots, A_{\eta}]$ 是 $C \times C\eta$ 的未知参数矩阵,其平方子矩阵为 $A_s$。在我们的例子中,$C$ 个二维CAR模型堆叠到模型方程中,因此参数矩阵 $A_s$ 是对角的。选定的上下文因果或单边邻域索引偏移集表示为 $I_r$,$\eta = cardinality(I_r)$。白噪声向量 $\epsilon_r$ 具有零均值和未知对角协方差矩阵,每个像素相同。
纹理在选定方向上进行分析,多索引 $t$ 根据图像网格上的移动而变化。给定CAR过程的已知历史 $Y^{(t - 1)} = {Y_{t - 1}, Y_{t - 2}, \ldots, Y_1, Z_t, Z_{t - 1}, \ldots, Z_1}$,可以使用快速且数值稳健的统计方法进行参数估计 $\hat{\gamma}$:
[\hat{\gamma}
{t - 1}^T = V
{zz(t - 1)}^{-1} V_{zy(t - 1)}]
[V_{t - 1} =
\begin{bmatrix}
\sum_{u = 1}^{t - 1} Y_u Y_u^T & \sum_{u = 1}^{t - 1} Y_u Z_u^T \
\sum_{u = 1}^{t - 1} Z_u Y_u^T & \sum_{u = 1}^{t - 1} Z_u Z_u^T
\end{bmatrix}
+ V_0 =
\begin{bmatrix}
V_{yy(t - 1)} & V_{zy(t - 1)}^T \
V_{zy(t - 1)} & V_{zz(t - 1)}
\end{bmatrix}]
[\lambda_{t - 1} = V_{yy(t - 1)} - V_{zy(t - 1)}^T V_{zz(t - 1)}^{-1} V_{zy(t - 1)}]
其中,正定矩阵 $V_0$ 表示先验知识。
从CAR参数估计中计算颜色不变量,使其与颜色无关。以下是推导出的颜色不变量:
1. 迹:$tr A_s, \forall s \in I_r$
2. 对角线:$\nu_s = diag(A_s), \forall s \in I_r$
3. $\alpha_1$:$1 + Z_r^T V_{zz}^{-1} Z_r$
4. $\alpha_2$:$\sqrt{\sum_{r} (Y_r - \hat{\gamma} Z_r)^T \lambda^{-1} (Y_r - \hat{\gamma} Z_r)}$
5. $\alpha_3$:$\sqrt{\sum_{r} (Y_r - \mu)^T \lambda^{-1} (Y_r - \mu)}$,$\mu$ 是向量 $Y_r$ 的均值
这些光照不变量形成特征向量,在CAR参数估计过程中易于评估。不变量 $\alpha_1$ – $\alpha_3$ 为每个光谱平面分别计算。
2.3 基于CAR的瓷砖分析
首先,将瓷砖图像分解为 $K$ 级高斯下采样金字塔,然后对每个金字塔级别使用前面描述的CAR模型进行建模。使用金字塔是为了让模型捕捉更大的空间关系。此外,CAR模型在固定的移动方向上分析纹理,因此使用额外的方向来捕捉更多的纹理属性。
具体来说,我们使用 $K = 4$ 级高斯下采样金字塔和具有6阶层次邻域(基数 $\eta = 14$)的CAR模型。纹理在三个正交方向上进行分析:按行、按列从上到下和按列从下到上。最后,将所有金字塔级别和方向的估计参数转换为颜色不变量,并连接成一个公共特征向量。
两个瓷砖 $T$ 和 $S$ 的特征向量之间的不相似度使用对称形式的模糊对比度 $FC_3$ 计算:
[FC_p (T, S) = M - \left(\sum_{i = 1}^{M} \min \left(\tau(f(T)
i), \tau(f(S)_i)\right) - p \sum
{i = 1}^{M} \left|\tau(f(T)_i) - \tau(f(S)_i)\right|\right)]
[\tau(f_i) = \left(1 + \exp\left(-\frac{f_i - \mu(f_i)}{\sigma(f_i)}\right)\right)^{-1}]
其中,$M$ 是特征向量的大小,$\mu(f_i)$ 和 $\sigma(f_i)$ 分别是特征 $f_i$ 在整个数据库上的平均值和标准差。Sigmoid函数 $\tau$ 对模糊谓词的真值进行建模。
纹理表示基于同质性假设,但有些瓷砖包含嵌件或其他违反同质性假设的情况。因此,还在图1所示的五个瓷砖区域上分别估计CAR模型。相应图像区域和整个图像的不相似度组合起来,最终得到瓷砖的不相似度 $D(T, S)$:
[D(T, S) = Norm\left(\sum_{\ell = 1}^{5} FC_3 (T_{\ell}, S_{\ell})\right) + Norm (FC_3 (T, S))]
[Norm(FC_3 (T, S)) = \frac{FC_3 (T, S) - \mu(FC_3)}{\sigma(FC_3)}]
其中,$T_{\ell}$ 和 $S_{\ell}$ 分别是图像 $T$ 和 $S$ 的第 $\ell$ 个区域。$Norm$ 是不相似度归一化,$\mu(FC_3)$ 和 $\sigma(FC_3)$ 是所有图像距离的均值和标准差。在实践中,$\mu(FC_3)$ 和 $\sigma(FC_3)$ 可以在数据集的子集上进行估计。
这种纹理瓷砖表示在结果中记为“2D CAR 3x”。
2.4 局部二值模式
局部二值模式(LBP)是纹理微模式的直方图。对于每个像素,对其周围的圆形邻域进行采样,$P$ 是采样点数,$R$ 是圆的半径。采样点的值通过中心像素值进行阈值处理,形成模式编号:
[LBP_{P,R} = \sum_{s = 0}^{P - 1} sgn (Y_s - Y_c) 2^s]
其中,$sgn$ 是符号函数,$Y_s$ 是采样像素的灰度值,$Y_c$ 是中心像素的灰度值。随后,计算模式的直方图。由于进行了阈值处理,这些特征对任何单调灰度变化都是不变的。通过增大圆形邻域的大小进行多分辨率分析。所有LBP直方图都被归一化为具有单位L1范数。LBP特征向量之间的相似度使用Kullback - Leibler散度测量。我们测试了特征 $LBP_{8,1}+LBP_{8,3}$,它们是半径为1和3的特征的组合,并在灰度图像上计算。
3. 实验
我们在一个心理视觉实验中评估了两种替代纹理检索方法(CAR和LBP)的性能,由志愿者评估检索图像的质量。
3.1 实验设置
- 数据集 :使用从互联网瓷砖店下载的3301张瓷砖图像数据集。所有图像重新采样为300 × 400像素的共同大小,保持矩形图像的纵横比,调整较大的边以匹配大小。
- 参与者 :34名志愿者(26名男性,8名女性)参与测试,年龄从19岁到60岁,大多数低于40岁。约一半参与者是图像处理领域的专家。
- 测试方式 :通过网络应用程序在互联网上进行测试,每个参与者在自己的环境中使用自己的计算机。
3.2 测试步骤
测试由一系列步骤组成,每个步骤包括一个查询图像和四个测试图像。四个测试图像由CAR方法和LBP方法检索出的与查询图像最相似的两个图像组成,随机呈现。参与者被要求根据与查询图像的结构/纹理相似度评估检索图像的质量,不考虑颜色。有四个等级可供选择:相似 = 3,相当相似 = 2,有点相似 = 1,不相似 = 0。参与者被指示对每个测试图像的评估时间不超过一到两秒。
查询图像随机选择一次,在一次运行中对所有参与者保持相同,并按固定顺序呈现,以避免不同的先前图像知识影响结果。前三个查询图像手动选择,不计入结果,以便参与者调整和稳定评估尺度。
测试进行了两次运行,一次运行由相同的查询和测试图像组成,由不同的受试者评估。第一次运行包括66个有效步骤,由23名受试者评估;第二次运行包括67个有效步骤,由11名受试者评估。由于一名受试者的评估与其他受试者显著不一致(相关系数 = 0.4),其评估结果被移除。两次运行中受试者评估的平均相关系数分别为0.64和0.73,这表明受试者的相似度判断具有一定的一致性。
3.3 实验结果
实验结果如下表所示:
|方法|运行1|运行2|
| ---- | ---- | ---- |
|2D CAR 3x|2.21 ± 0.64|2.23 ± 0.62|
|LBP8,1+8,3|2.22 ± 0.65|2.21 ± 0.57|
从结果可以看出,两种方法的性能相当且成功。约76%的检索图像被认为相似或相当相似,只有12%被标记为不相似。如图3所示,超过三分之二的参与者平均将检索到的瓷砖评为相当相似或更好。图3中不同受试者的均值表明,感知相似度的水平是主观的,个人适应会有益,但由于需要用户反馈,这种适应并不总是可行。
实验还表明,LBP和CAR方法偏好结构相似性的不同方面。LBP方法在包含多个不同边缘方向的规则图像上表现更好,而CAR模型在建模随机模式方面更出色。此外,LBP描述任何纹理不规则性,而CAR模型强调同质性,忽略小的不规则性,将其视为误差或噪声。两种方法都合理,应根据主观观点选择。而且,根据先前实验,CAR特征对光照方向变化和噪声退化更具鲁棒性。
基于这些实验,我们决定同时利用这两种纹理表示方法,并将它们纳入我们的检索系统。最终的检索结果由颜色相似、根据CAR的纹理相似和根据LBP的纹理相似的图像组成。
3.4 实验流程
graph LR
A[下载数据集] --> B[图像预处理]
B --> C[选择查询图像]
C --> D[CAR方法检索图像]
C --> E[LBP方法检索图像]
D --> F[组合检索图像]
E --> F
F --> G[呈现给参与者评估]
G --> H[统计评估结果]
4. 结论
我们设计并实现了一个基于视觉相似性的两个正交组件(颜色和纹理)的瓷砖检索系统。纹理组件的性能在心理视觉实验中得到了成功评估。
我们的检索系统不限于瓷砖图像,还可用于其他结构是重要属性的图像,如纺织品/布料和壁纸。
通过结合CAR和LBP两种纹理表示方法,我们的检索系统能够更好地满足不同用户对纹理相似性的需求,提高检索的准确性和多样性。未来,我们可以进一步研究如何根据用户的反馈进行个性化的检索优化,提高用户体验。
4.1 系统优势总结
- 多特征结合 :系统结合了颜色和纹理两个独立的视觉相似性组件。颜色通过累积直方图表示,纹理则采用基于MRF的CAR特征和LBP特征,这种多特征的结合方式能够更全面地描述图像,提高检索的准确性。
- 鲁棒性强 :CAR特征对光照方向变化和噪声退化具有较强的鲁棒性,这使得系统在不同的光照条件和存在噪声的情况下,依然能够准确地检索到相似的图像。
- 适用性广 :该系统不仅适用于瓷砖图像的检索,还可用于其他结构是重要属性的图像,如纺织品、布料和壁纸等,具有较广泛的应用场景。
4.2 关键技术细节回顾
- 颜色分析 :颜色信息通过累积直方图表示,为每个光谱平面分别计算。累积直方图的计算公式为 $H_i = \sum_{\ell\leq i} h_{\ell}$,两个累积直方图之间的距离使用L1度量计算。
-
纹理分析 - CAR特征
- 模型建立 :假设多光谱纹理像素 $Y_r$ 可以建模为其邻域的线性组合 $Y_r = \gamma Z_r + \epsilon_r$,通过Karhunen - Loeve变换对光谱平面进行去相关,然后使用一组 $C$ 个二维CAR模型进行建模。
- 参数估计 :给定CAR过程的已知历史,使用快速且数值稳健的统计方法进行参数估计 $\hat{\gamma}$。
- 颜色不变量计算 :从CAR参数估计中计算颜色不变量,如迹、对角线、$\alpha_1$、$\alpha_2$、$\alpha_3$ 等,这些不变量为每个光谱平面分别计算。
- 纹理分析 - LBP特征 :LBP是纹理微模式的直方图,通过对每个像素周围的圆形邻域进行采样,阈值处理后形成模式编号,计算模式的直方图。LBP特征对任何单调灰度变化都是不变的,通过增大圆形邻域的大小进行多分辨率分析。
4.3 实验结果分析
| 方法 | 运行1 | 运行2 |
|---|---|---|
| 2D CAR 3x | 2.21 ± 0.64 | 2.23 ± 0.62 |
| LBP8,1+8,3 | 2.22 ± 0.65 | 2.21 ± 0.57 |
从实验结果的表格可以看出,两种方法的平均排名和标准差较为接近,说明它们的性能相当。约76%的检索图像被认为相似或相当相似,只有12%被标记为不相似,这表明系统整体的检索效果较好。
不同受试者对检索图像的评价存在差异,这说明感知相似度的水平是主观的。LBP和CAR方法偏好结构相似性的不同方面,LBP方法在规则图像上表现更好,而CAR模型在随机模式建模方面更出色。在实际应用中,可以根据具体的需求选择合适的方法。
4.4 系统应用拓展
- 纺织品和布料领域 :在纺织品和布料的设计、生产和销售过程中,需要快速准确地找到相似的纹理和颜色的样品。该检索系统可以根据用户提供的样图,快速检索出数据库中相似的纺织品和布料图像,为设计师和销售人员提供参考。
- 壁纸领域 :壁纸的图案和纹理多种多样,用户在选择壁纸时往往需要花费大量的时间浏览各种样本。使用该检索系统,用户可以上传自己喜欢的壁纸图片,系统能够快速找到相似的壁纸产品,提高用户的选择效率。
4.5 未来展望
- 个性化检索优化 :根据用户的反馈和历史检索记录,为用户提供个性化的检索服务。例如,记录用户对不同纹理和颜色的偏好,在检索时优先推荐符合用户偏好的图像。
- 实时检索功能 :进一步优化系统的性能,实现实时检索功能。在用户上传图像后,系统能够在短时间内给出检索结果,提高用户体验。
- 与其他技术的结合 :可以考虑将该检索系统与人工智能、机器学习等技术相结合,进一步提高检索的准确性和智能性。例如,使用深度学习模型对图像进行更深入的理解和分析,挖掘更多的图像特征。
4.6 总结
基于颜色和纹理的瓷砖检索系统通过结合多种特征和方法,实现了较为准确和高效的图像检索。该系统不仅在瓷砖领域具有应用价值,还可以拓展到其他相关领域。未来,通过不断的优化和改进,系统有望为用户提供更加个性化、智能化的检索服务。
4.7 操作步骤总结
以下是使用该检索系统进行图像检索的操作步骤:
1.
数据准备
:收集并整理需要检索的图像数据集,对图像进行预处理,如调整大小、归一化等。
2.
特征提取
:分别提取图像的颜色特征(累积直方图)和纹理特征(CAR特征和LBP特征)。
3.
建立索引
:将提取的特征存储到数据库中,并建立索引,以便快速检索。
4.
查询操作
:用户上传查询图像,系统提取查询图像的特征。
5.
相似度计算
:计算查询图像特征与数据库中图像特征的相似度,使用模糊对比度等方法。
6.
结果排序和呈现
:根据相似度对检索结果进行排序,并将结果呈现给用户。
4.8 流程图回顾
graph LR
A[下载数据集] --> B[图像预处理]
B --> C[选择查询图像]
C --> D[CAR方法检索图像]
C --> E[LBP方法检索图像]
D --> F[组合检索图像]
E --> F
F --> G[呈现给参与者评估]
G --> H[统计评估结果]
这个流程图清晰地展示了实验的整个流程,从数据集的准备到最终评估结果的统计,每个步骤都紧密相连。在实际应用中,我们可以根据这个流程来构建和优化检索系统,确保系统的准确性和可靠性。
381



被折叠的 条评论
为什么被折叠?



