图像检索与面部识别的先进技术探索
1. 图像检索方法优化
在图像检索领域,传统方法存在一些局限性。例如,仅考虑正样本或负样本时,检索到的结果可能并非用户所感兴趣的。而在原技术中,负样本的较大影响通常会限制单个选择周围高得分图片的数量,有助于增加多样性并对密度起到调节作用。
当引入调节项时,情况会有所不同。如果仅引入调节项,不同密度区域的问题会更加明显。调节项降低非相关选择的重要性,可能会对算法性能产生负面影响。不过,值得注意的是,原始的最近邻(NN)方法在最初的一两次迭代中,可能会在某些数据库(如Corel数据库)上取得更好的结果。但随着相关性反馈迭代的进行,改进方法的优势会越来越明显。从第4次迭代开始,改进方法能始终取得显著优于其他方法的结果,仅在Corel数据库上,改进方法与带有局部搜索的基本NN方法之间的差异不显著。
这里介绍了一种改进的基于最近邻的内容基于图像检索(CBIR)算法。该算法重新制定,使其对特征空间中图片密度的差异以及相关和非相关选择集的基数更加鲁棒。与原始方法相比,新公式显著提高了检索精度。
在该方法的制定过程中,没有对特征空间、用于检索的距离函数以及组合这些函数的方法进行假设。虽然在实验中使用了每个描述符得分的简单线性组合,并且有人建议使用不相似性空间,但也可以采用其他策略。例如,有方法可以从多个距离函数构建单个相似性度量,将最近邻方法与这些方法集成,可以通过直接应用特定方程为每个图像计算单个相关性得分。
2. 面部识别的挑战与解决方案
2.1 面部识别的挑战
实际的面部识别系统面临着诸多挑战,其中在不受控制的照明条件下以及由于失焦或运动导致的模糊情况下识别面部是最重要的挑战之一。此外,面部数据的高维度和小样本量也加剧了这一问题。
2.2 传统方法的局限性
大多数以往的面部识别工作使用原始图像数据作为线性变换的输入,将图像映射到一个称为面部子空间的点。然而,当裁剪的面部图像在变化的光照条件下获取或受到模糊影响时,这些方法的性能会下降。
2.3 直方图特征的优势
相比之下,基于直方图的特征,如局部二值模式直方图(LBPH)、局部相位量化直方图(LPQH)和Gabor相位模式直方图(HGPP),在面部识别中表现出色。这些特征能够捕捉面部区域的空间关系信息,并且对上述图像退化情况具有部分不变性。在这些方法中,面部图像首先被划分为多个小区域,从中提取代表面部图像局部纹理的模式直方图,然后使用最近邻分类器进行识别。
2.4 多尺度模式直方图
通过改变滤波器大小并组合生成的模式图像,可以获得多分辨率表示。这种表示方法在面部识别中的准确性优于单尺度模式方法。为了减少由于噪声导致的不稳定结果,可以使用直方图等聚合统计方法。使用直方图作为特征具有以下优点:
- 统计摘要可以将特征维度从图像大小减少到直方图的箱数。
- 直方图对图像的平移和旋转具有一定的鲁棒性,降低了对配准误差的敏感性。
- 通过控制直方图的箱数和/或将直方图投影到其他空间,可以进一步减少噪声的影响。
在具体实现中,对于面部图像,会在多个尺度上应用LBP或LPQ等模式算子,生成每个像素在不同分辨率下的灰度代码。将得到的模式图像裁剪到相同大小并划分为非重叠的子区域,计算每个尺度下每个区域的模式直方图,最后将这些直方图连接成一个向量,得到最终的多分辨率区域面部描述符。
2.5 图像描述符及相关计算方法
2.5.1 局部二值模式(LBP)
LBP算子可以提取对图像局部单调灰度变化不变的信息。在LBP操作中,将当前像素的值作为阈值应用于每个相邻像素,得到一个二进制数。通过连接这些二进制位并转换为十进制数,得到局部二值模式。使用圆形邻域和线性插值像素值,可以选择任意半径和邻域像素数来形成算子,其公式如下:
[LBPP,R(x) = \sum_{p=0}^{P - 1} s(f_p - f_c)2^p]
[s(v) =
\begin{cases}
1, & v \geq 0 \
0, & v < 0
\end{cases}
]
2.5.2 局部相位量化模式(LPQ)
LPQ模式对模糊效应具有鲁棒性。可以使用二维窗口傅里叶变换(2DWFT)提取LPQ的相位信息,公式如下:
[F_u(x) = \sum_{m \in N_x} w(m - x)f(m)e^{-j2\pi u^T m} = E_u^T f_x]
其中,$E_u$ 是2DWFT的基向量,$f_x$ 是包含每个 $x$ 位置 $N_x$ 中图像像素值的向量。窗口函数 $w(x)$ 在本工作中是矩形函数。变换在四个频率点进行计算,通过对得到的复数图像的每个像素应用象限位编码,将其编码为二进制值,最终得到LPQ模式。
在数字图像处理中,如果模糊的点扩散函数(PSF)是正偶函数,LPQ表示对模糊是不变的,前提是模糊的截止频率大于LPQ滤波器的截止频率。
2.5.3 多尺度模式直方图的计算
在我们的方法中,首先在R个尺度上对人脸图像应用定义在邻域Q上的模式算子(如LBP或LPQ),为每个像素在每个分辨率下生成一个灰度级代码。将得到的模式图像裁剪为相同大小,并划分为非重叠的子区域 $M_0, M_1, \cdots, M_{J - 1}$。每个尺度的区域模式直方图计算如下:
[h_{r,j}(i) = \sum_{x \in M_j} E(Q_r(x) = i)]
其中,$i \in [0, L - 1]$,$j \in [0, J - 1]$,$r \in [1, R]$,$z = r \times 2 + 1$,$E(v)$ 是布尔指示函数。通过连接这些直方图,得到最终的多分辨率区域人脸描述符:
[k_j = [h_{1,j}, h_{2,j}, \cdots, h_{R,j}]]
2.6 基于谱回归的核判别分析(SR - KDA)
核判别分析(KDA)是线性判别分析(LDA)的非线性扩展,使用“核技巧”将原始测量映射到更高维空间。KDA的目标函数如下:
[\max_{\nu} J(\nu) = \frac{\nu^T C_b \nu}{\nu^T C_t \nu}]
其中,$C_b$ 和 $C_t$ 分别表示特征空间中的类间和总散布矩阵。求解该方程会导致特征值分析问题 $C_b = \lambda C_t$。
实际上,该方程等价于:
[\max_{\alpha} J(w) = \frac{w^T KAK w}{w^T KKw}]
其中,$w$ 是满足 $KAK w = \lambda KKw$ 的特征向量,$A$ 是标签的块对角矩阵,$K$ 是核矩阵。
为了避免直接求解KDA中的特征值问题,可以通过以下两个线性方程获得KDA投影:
[A\varphi = \lambda\varphi]
[(K + \delta I)w = \varphi]
其中,$\varphi$ 是 $A$ 的特征向量,$I$ 是单位矩阵,$\delta > 0$ 是正则化参数。特征向量 $\varphi$ 可以直接从Gram - Schmidt方法获得。由于 $(K + \delta I)$ 是正定的,使用Cholesky分解 $(K + \delta I) = R^T R$ 来求解线性方程,具体步骤为先求解 $R^T \theta = \varphi$ 得到向量 $\theta$,再求解 $Rw = \theta$ 得到向量 $w$。
SR - KDA只需要解决一组正则化回归问题,无需进行特征向量计算,大大提高了计算效率,能够处理大型核矩阵。其计算复杂度分析如下:
- 响应生成:Gram - Schmidt方法的成本需要 $(mc^2 - \frac{1}{3}c^3)$ 次复合操作(flams)。
- 正则化回归:Cholesky分解需要 $\frac{1}{6}m^3$ 次flams,求解 $c - 1$ 个线性方程需要 $m^2c$ 次flams。因此,SR - KDA不包括核矩阵 $K$ 计算的成本约为 $\frac{1}{6}m^3 + m^2c$,与普通KDA的成本 $\frac{9}{2}m^3 + m^2c$ 相比,显著降低了主导部分,实现了约27倍的加速。
2.7 系统融合方法
我们研究了两种信息融合框架:得分级融合和核级融合,具体如下表所示:
|融合类型|具体操作|优势|
| ---- | ---- | ---- |
|得分级融合|对于每个表示,使用SR - KDA单独训练面部识别系统,然后使用求和规则组合每个分类器的输出。| - |
|核级融合|给定多个特征(MLPQ,MLBP),每个核函数生成一个方阵,其中每个条目编码了一张脸与另一张脸的特定相似性概念。可以通过基本代数运算(如加法)组合核,例如 $K = K_{MLPQH} + K_{MLBPH}$。组合核后,应用SR - KDA进行特征提取。|具有速度优势,只需要一个分类器;而得分级融合需要为每个面部表示使用单独的分类器。|
2.8 实验结果
使用Face Recognition Grand Challenge version 2数据集评估所提出的框架。该数据库的人脸图像在受控和非受控环境中收集,分为训练集和测试集。训练集包含来自222个受试者的12,775张图像,测试集包含来自466个受试者的24,042张图像,其中222个受试者与训练集相同,但图像不共享。
我们重点关注两个实验:
-
EXP 1
:测量在受控照明下从正面图像进行面部验证的性能。使用来自466个受试者的16,028张图像建立 $16,028 \times 16,028$ 的相似性混淆矩阵。
-
EXP 4
:测量在受控与非受控正面人脸静态图像上的性能。目标集包含16,028张受控图像,查询集包含8,014张非受控静态图像。
使用生物特征实验环境(BEE)评估工具生成绘制面部验证率(FVR)与错误接受率(FAR)的ROC曲线,分别对应于在学期内、一年内和学期之间采集的图像生成三条ROC曲线(ROC I、II和III)。
人脸图像通过地面真值标注的眼睛位置提取,并缩放到 $142 \times 120$ 的大小。裁剪后的人脸使用预处理序列方法(PS)进行光度归一化,该方法旨在减少光照变化、局部阴影和高光的影响,同时保留用于识别的基本视觉外观信息。
对于MLBPH,使用从 $r = 1$ 到 $10$ 且 $P = 8$ 的十个LBP算子来表示人脸图像;对于MLPQ,使用从 $z = 3$ 到 $17$ 的八个LPQ算子。编码后的图像被划分为9个非重叠区域,并在测试阶段生成基于局部直方图的核向量。在本工作中,使用具有卡方($X^2$)和欧几里得距离(ED)度量的径向基函数(RBF)核:
[K(k_{s1}, k_{s2}) = e^{-\frac{1}{A} dist(k_{s1}, k_{s2})}]
其中,$A$ 是一个标量,用于归一化距离,设置为核矩阵中所有元素之间的平均卡方或欧几里得距离。所有实验中使用的正则化参数 $\delta = 0.01$。
不同方法在FRGC 2.0实验1和4中的验证率(在0.1% FAR下)如下表所示:
|系统|EXP 1 - ROC I|EXP 1 - ROC II|EXP 1 - ROC III|EXP 4 - ROC I|EXP 4 - ROC II|EXP 4 - ROC III|
| ---- | ---- | ---- | ---- | ---- | ---- | ---- |
|PS MLBP + LDA|97.11|96.31|95.40|67.32|68.92|70.51|
|PS MLBP + KDA(ED)|98.37|97.91|97.42|77.85|79.68|81.53|
|PS MLBP + KDA(X2)|98.48|98.03|97.55|75.45|77.67|79.81|
|PS MLPQ + LDA|97.30|96.51|95.67|67.32|68.86|70.50|
|PS MLPQ + KDA(ED)|98.76|98.39|97.98|81.05|82.44|83.80|
|PS MLPQ + KDA(X2)|98.76|98.37|97.94|78.27|79.98|81.54|
|PS MLPQ + LDA + PS MLBP + LDA|97.45|96.69|95.89|69.73|71.59|73.43|
|PS MLPQ + KDA(ED) + PS MLBP + KDA(ED)|98.70|98.31|97.88|81.17|82.84|84.42|
|PS MLPQ + KDA(X2) + PS MLBP + KDA(X2)|98.77|98.38|97.95|79.15|81.04|82.87|
|PS MLPQ + PS MLBP + KDA(ED)|98.84|98.50|98.13|82.92|84.34|85.72|
|PS MLPQ + PS MLBP + KDA(X2)|98.88|98.54|98.16|80.50|82.19|83.78|
|CVPR06’|95.01|93.29|91.51|75.70|75.06|74.33|
|ICCV07’|98.00|86.00| - | - | - | - |
|AMFG07’|83.60| - | - | - | - | - |
|INNS09’|83.4| - | - | - | - | - |
|TIP08’|79.40|79.90|80.30| - | - | - |
|ICB09’|92.40| - | - | - | - | - |
|CVPR05’LBP + KLDA(X2)|97.40| - | - | - | - | - |
|CVPR05’LBP|79.90| - | - | - | - | - |
|CVPR05’KLDA|82.90| - | - | - | - | - |
|PCA Baseline|74.76|70.53|66.05|12.00| - | - |
从实验结果可以看出,所提出的方法在面部识别性能上取得了较好的效果,尤其是在使用核级融合和SR - KDA进行特征提取时,能够显著提高面部验证的准确率。不同的特征组合和核度量在不同的实验条件下表现有所差异,用户可以根据具体需求选择合适的方法。
综上所述,无论是图像检索领域的改进最近邻算法,还是面部识别领域的多直方图描述符核融合方法,都为解决实际问题提供了有效的途径。通过不断的研究和改进,这些技术有望在更多的应用场景中发挥重要作用。
3. 技术对比与总结
3.1 图像检索方法对比
传统图像检索方法在正负样本选择及调节项引入方面存在不足。仅考虑正样本或负样本时,检索结果可能偏离用户兴趣;单独引入调节项,会使不同密度区域问题更突出,且可能降低算法性能。而改进的基于最近邻的CBIR算法,对特征空间中图片密度差异及相关和非相关选择集基数更具鲁棒性,从第4次相关性反馈迭代开始,能稳定取得显著优于原始NN方法的结果。
3.2 面部识别方法对比
传统面部识别方法基于原始图像数据进行线性变换,在光照变化和图像模糊时性能下降。基于直方图的特征(LBPH、LPQH等)能捕捉面部区域空间关系,对图像退化有部分不变性。多尺度模式直方图进一步提升了准确性,且使用直方图作为特征具有降低维度、对平移旋转鲁棒、减少噪声影响等优点。
3.3 系统融合方法对比
得分级融合和核级融合是两种不同的信息融合框架。得分级融合对每个表示单独训练分类器后组合输出;核级融合通过组合核矩阵再进行特征提取。核级融合具有速度优势,仅需一个分类器,而得分级融合需要为每个面部表示使用单独的分类器。
3.4 技术总结
图像检索和面部识别领域的这些技术改进,都是为了应对实际应用中的各种挑战。在图像检索中,改进算法提高了检索精度;在面部识别中,多直方图描述符及核融合方法增强了对光照、模糊等因素的鲁棒性。这些技术的发展将有助于推动相关领域的应用,如安防监控、智能相册等。
4. 技术应用与展望
4.1 图像检索技术应用
- 智能相册 :用户可以通过输入关键词或示例图片,快速检索到相关的照片。改进的图像检索算法能更准确地理解用户需求,提高检索效率。
- 电商平台 :在商品搜索中,用户可以上传商品图片来查找相似商品。准确的图像检索技术能为用户提供更精准的商品推荐。
4.2 面部识别技术应用
- 安防监控 :在公共场所,面部识别系统可以快速准确地识别人员身份,提高安全性。
- 移动设备解锁 :手机等移动设备可以使用面部识别技术进行解锁,提供更便捷的用户体验。
4.3 技术展望
未来,图像检索和面部识别技术有望在以下方面取得进一步发展:
-
多模态融合
:结合图像、语音、文本等多种模态信息,提高识别和检索的准确性。
-
深度学习应用
:利用深度学习模型的强大特征提取能力,进一步提升技术性能。
-
边缘计算
:将计算任务移到边缘设备上,减少数据传输延迟,提高系统响应速度。
5. 操作步骤总结
5.1 多尺度模式直方图计算步骤
graph LR
A[输入人脸图像] --> B[在R个尺度上应用模式算子]
B --> C[生成每个像素灰度级代码]
C --> D[裁剪模式图像并划分区域]
D --> E[计算每个尺度区域模式直方图]
E --> F[连接直方图得到最终描述符]
- 输入人脸图像。
- 在R个尺度上对人脸图像应用定义在邻域Q上的模式算子(如LBP或LPQ)。
- 为每个像素在每个分辨率下生成一个灰度级代码。
- 将得到的模式图像裁剪为相同大小,并划分为非重叠的子区域 $M_0, M_1, \cdots, M_{J - 1}$。
-
计算每个尺度的区域模式直方图:
[h_{r,j}(i) = \sum_{x \in M_j} E(Q_r(x) = i)]
其中,$i \in [0, L - 1]$,$j \in [0, J - 1]$,$r \in [1, R]$,$z = r \times 2 + 1$,$E(v)$ 是布尔指示函数。 -
通过连接这些直方图,得到最终的多分辨率区域人脸描述符:
[k_j = [h_{1,j}, h_{2,j}, \cdots, h_{R,j}]]
5.2 SR - KDA计算步骤
graph LR
A[计算A矩阵] --> B[求解A的特征向量φ]
B --> C[计算K + δI矩阵]
C --> D[进行Cholesky分解]
D --> E[求解R^Tθ = φ得到θ]
E --> F[求解Rw = θ得到w]
- 计算标签的块对角矩阵A。
- 求解 $A\varphi = \lambda\varphi$ 得到特征向量 $\varphi$,可使用Gram - Schmidt方法。
- 计算 $(K + \delta I)$ 矩阵,其中 $K$ 是核矩阵,$I$ 是单位矩阵,$\delta > 0$ 是正则化参数。
- 对 $(K + \delta I)$ 进行Cholesky分解,得到 $(K + \delta I) = R^T R$。
- 求解 $R^T \theta = \varphi$ 得到向量 $\theta$。
- 求解 $Rw = \theta$ 得到向量 $w$。
5.3 系统融合操作步骤
得分级融合
- 对于每个表示(如MLPQ、MLBP),使用SR - KDA单独训练面部识别系统。
- 使用求和规则组合每个分类器的输出。
核级融合
- 给定多个特征(MLPQ,MLBP),每个核函数生成一个方阵。
- 通过基本代数运算(如加法)组合核,例如 $K = K_{MLPQH} + K_{MLBPH}$。
- 组合核后,应用SR - KDA进行特征提取。
通过以上操作步骤,用户可以实现多尺度模式直方图计算、SR - KDA计算以及系统融合,从而应用图像检索和面部识别技术。这些技术的不断发展和完善,将为我们的生活和工作带来更多便利。



被折叠的 条评论
为什么被折叠?



