人脸特征核融合与OCR后处理方法研究
1. 人脸特征核融合方法
1.1 评估方法与性能对比
对MLPQH(MLBPH LDA + MLPQH LDA)、MLPQH LDA和MLBPH LDA进行了评估,并在表2中报告了当前最先进的方法。在实验1中,与基于线性判别分析的系统相比,核判别分析的性能明显更好。不过,使用卡方(X2)和欧几里得距离(ED)度量的RBF核性能没有显著差异。
| 方法 | 与线性判别分析系统对比 | RBF核不同度量对比 |
|---|---|---|
| 核判别分析 | 性能明显更好 | 无显著差异 |
1.2 特征组合与融合性能
正如预期的那样,结合两种不同的人脸表示时获得的性能优于单个表示的性能,但在实验1中PS MLPQ + KDA(ED) + PS MLBP + KDA(ED)除外。核融合始终优于得分级融合。提出的使用核融合来组合两种不同人脸表示的框架比结合全局和固有面部图像得分的系统性能略好。
1.3 方法局限性与优势
虽然提出的方法结果不如2009年ICB中的方法,但使用颜色的系统在实际环境中可能不鲁棒,并且计算成本高。该方法在具有挑战性的FRGC 2.0数据库上进行了测试,比得分级融合性能更好,在可比条件下也优于所有现有方法,为集成描述符以实现鲁棒性能提供了替代解决方案。
graph LR
A[人脸特征表示] --> B[单个表示]
A --> C[组合表示]
B --> D[线性判别分析系统]
C --> E[核判别分析]
D --> F[性能一般]
E --> G[性能较好]
C --> H[核融合]
C --> I[得分级融合]
H --> J[性能优]
I --> K[性能一般]
2. 高效OCR后处理方法
2.1 OCR后处理的重要性
光学识别印刷或手写文本的任何方法输出都存在可变程度的错误和不确定性,因此应用校正算法非常重要。人类阅读手写文本时表现出色,主要得益于我们非凡的错误恢复能力,这归功于我们日常应用的词汇、句法、语义、语用和话语语言约束。
2.2 现有方法的不足
现有方法使用OCR提供的字符串作为输入,应用语言模型并经常使用错误模型优化转换成本,但通常不考虑假设模型这一有价值的知识源。假设模型可以包括输出假设的后验类概率或最可能类的其他可靠性指标,分类器的混淆矩阵也应有效地纳入错误模型。
2.3 加权有限状态转换器(WFST)
WFST是有限状态自动机(FSA)的推广。FSA是一个有限有向图,节点表示状态,弧表示转换,每个转换用字母表Σ中的符号标记。FST中每个转换用输入符号∈Σ和输出符号∈Δ标记,用于将输入语言的字符串转换为输出语言的字符串。WFST在转换中包含权重,用于表示选择特定路径的成本,每个状态有初始权重和最终权重。
| 类型 | 定义 | 用途 |
|---|---|---|
| FSA | 五元组 (Q, q0, F, Σ, δ) | 接受或拒绝字符串集 |
| FST | 转换标记输入和输出符号 | 字符串转换 |
| WFST | 转换包含权重 | 表示路径成本 |
2.4 方法描述
2.4.1 语言模型(LM)
使用语法推理算法构建一个随机有限状态机,接受与任务代表性语言样本一致的严格意义上最小的k - 可测试语言(k - TS语言)。该语言样本可以是简单的词典、从实际任务实例中提取的单词列表或句子列表等。k值可用于定义模型的行为,当k等于样本中最长单词的长度时,后处理方法仅接受样本中存在的单词;当k设置为较低值时,将得到经典的n - 元模型。
2.4.2 假设模型(HM)
OCR分类器的输出可以表示为n维向量序列,使用具有m + 1个状态和每个状态对之间n个转换的WFSA(或身份WFST)来表示。这种表示方式可以模拟OCR分类器的不确定性。
2.4.3 错误模型(EM)
定义了三种常见的编辑操作:替换、插入和删除。替换的概率从OCR分类器的混淆矩阵得出,插入和删除的可能性取决于任务并可以通过经验估计。
2.4.4 模型组合
通过转换器之间的组合操作来组合不同的模型。目标是找到将假设模型产生的字符串转换为语言模型接受的字符串的最可能转换,这相当于在转换器HM ⊙ EM ⊙ LM中找到最可能的路径。
2.4.5 成本定义和参数优化
路径是组合转换器中的一系列转换,每个转换t的概率计算为HM、LM和EM中相应转换概率的乘积。为避免下溢问题,使用热带半环WFST,最可能的路径通过最低成本路径搜索找到。由于每个模型的最佳影响通常未知,定义了两个参数λe和λh来获得不同权重的模型的对数线性参数组合。
graph LR
A[OCR后处理] --> B[语言模型(LM)]
A --> C[假设模型(HM)]
A --> D[错误模型(EM)]
B --> E[语法推理算法]
C --> F[WFSA表示]
D --> G[编辑操作定义]
E --> H[k - TS语言]
F --> I[模拟不确定性]
G --> J[替换、插入、删除]
H --> K[模型行为定义]
I --> L[输出表示]
J --> M[概率估计]
B & C & D --> N[模型组合]
N --> O[找到最可能路径]
O --> P[成本计算与优化]
3. 人脸特征核融合方法详细分析
3.1 核判别分析优势
核判别分析在实验1中相较于线性判别分析系统表现出明显优势。线性判别分析是一种经典的特征提取和分类方法,它通过寻找一个投影方向,使得不同类别的样本在该方向上的投影尽可能分开,同一类别的样本投影尽可能接近。然而,它假设数据是线性可分的,在实际应用中,人脸数据往往具有复杂的非线性结构。
核判别分析引入了核函数,将数据映射到高维特征空间,在高维空间中实现线性判别分析。这样可以更好地处理非线性数据,从而提高分类性能。其具体操作步骤如下:
1. 选择合适的核函数,如径向基函数(RBF)。
2. 将原始数据通过核函数映射到高维特征空间。
3. 在高维特征空间中进行线性判别分析,找到最优的投影方向。
3.2 特征组合与融合的意义
特征组合与融合是提高人脸识别性能的重要手段。单个特征表示可能只能捕捉到人脸的部分信息,而将不同的特征表示组合起来,可以综合利用各种特征的优势,提高识别的准确性。
例如,PS MLPQ和PS MLBP是两种不同的人脸特征表示方法,将它们与KDA(ED)结合使用,理论上可以获得更好的性能。但在实验1中,PS MLPQ + KDA(ED) + PS MLBP + KDA(ED)的性能不如预期,可能是由于特征之间的兼容性问题或者参数设置不合理。
核融合和得分级融合是两种常见的特征融合方法。核融合是在特征空间中进行融合,通过核函数将不同的特征表示映射到同一高维空间,然后进行融合。得分级融合是在分类得分层面进行融合,将不同特征表示的分类得分进行加权求和。核融合始终优于得分级融合,说明在特征空间中进行融合可以更好地保留特征的信息。
3.3 方法性能对比总结
| 方法 | 与线性判别分析对比 | 与得分级融合对比 | 与ICB2009方法对比 |
|---|---|---|---|
| 提出的核融合方法 | 性能明显更好 | 性能更优 | 略逊一筹,但考虑实际环境和计算成本有优势 |
虽然提出的方法在性能上略逊于ICB2009方法,但ICB2009方法使用了颜色信息,在实际环境中可能不鲁棒,并且计算成本高。而提出的方法不依赖颜色信息,具有更好的实用性。
4. OCR后处理方法详细分析
4.1 语言模型构建
语言模型的构建是OCR后处理的重要环节。使用语法推理算法构建随机有限状态机,接受与任务代表性语言样本一致的k - TS语言。具体步骤如下:
1. 收集任务代表性语言样本,可以是简单的词典、从实际任务实例中提取的单词列表或句子列表等。
2. 根据样本选择合适的k值,k值决定了模型的行为。
3. 使用语法推理算法构建随机有限状态机,该机器接受的语言与样本一致。
4.2 假设模型表示
假设模型用于表示OCR分类器的输出不确定性。OCR分类器的输出可以表示为n维向量序列,使用WFSA(或身份WFST)来表示。具体步骤如下:
1. 将OCR分类器的输出转换为n维向量序列,每个向量表示一个字符的可能假设及其后验概率。
2. 构建具有m + 1个状态和每个状态对之间n个转换的WFSA(或身份WFST),其中m是输出字符串的长度。
3. 将向量序列中的概率信息分配到WFSA(或身份WFST)的转换上。
4.3 错误模型定义
错误模型定义了OCR输出中可能出现的错误类型及其概率。常见的错误类型包括替换、插入和删除。具体步骤如下:
1. 从OCR分类器的混淆矩阵中获取替换的概率,混淆矩阵是一个表格,包含了每个符号对之间的混淆概率。
2. 根据任务经验估计插入和删除的可能性。
3. 构建WFST表示错误模型,将错误类型和概率信息分配到WFST的转换上。
4.4 模型组合与优化
模型组合是将语言模型、假设模型和错误模型组合起来,找到最可能的转换路径。具体步骤如下:
1. 通过转换器之间的组合操作,将HM、EM和LM组合成一个新的转换器HM ⊙ EM ⊙ LM。
2. 在组合转换器中找到最可能的路径,该路径对应的字符串即为最终的校正结果。
3. 为避免下溢问题,使用热带半环WFST,将概率转换为负对数概率,通过最低成本路径搜索找到最可能的路径。
4. 由于每个模型的最佳影响通常未知,定义两个参数λe和λh来获得不同权重的模型的对数线性参数组合,通过实验优化这两个参数。
graph LR
A[OCR后处理流程] --> B[语言模型构建]
A --> C[假设模型表示]
A --> D[错误模型定义]
B --> E[收集样本]
B --> F[选择k值]
B --> G[构建随机有限状态机]
C --> H[转换输出为向量序列]
C --> I[构建WFSA或身份WFST]
C --> J[分配概率信息]
D --> K[获取替换概率]
D --> L[估计插入和删除可能性]
D --> M[构建WFST]
E & F & G & H & I & J & K & L & M --> N[模型组合]
N --> O[找到最可能路径]
O --> P[成本计算与优化]
综上所述,人脸特征核融合方法和OCR后处理方法都有其独特的优势和应用场景。人脸特征核融合方法在人脸识别人领域提高了识别性能,为实际应用提供了更可靠的解决方案。OCR后处理方法通过综合利用语言模型、假设模型和错误模型,有效地纠正了OCR输出中的错误,提高了识别的准确性。这两种方法都为相关领域的研究和应用提供了有价值的参考。
827



被折叠的 条评论
为什么被折叠?



