高效OCR后处理与未知语言模型拒绝阈值估计
1. 引言
光学字符识别(OCR)在处理印刷或手写文本后,通常会进行后处理,以提升最终识别性能。语言模型可对文本内容施加约束,不同类型的表单字段对应着不同的语言模型,如姓名、年龄、日期等。在大规模工业表单处理中,新的语言模型会不断出现。
后处理技术可提供可靠性指标,通过设置阈值能拒绝那些不太可能正确的字符串,降低错误率。但阈值的选择对系统性能和经济效益影响重大,过高的拒绝率会增加人工数据录入成本。因此,本文提出一种估计未知语言模型预期错误率分布的技术,以此估算测试样本的拒绝阈值。
2. 相关工作
在连续语音识别领域,许多语言建模技术可应用于OCR任务,如字典搜索、n - 元语法、隐马尔可夫模型等。在OCR和文本识别任务中,也有不少使用语言建模进行纠错的工作。
本文采用错误纠正解析(ECP)技术处理OCR假设,通过形式语法构建有限状态机,利用维特比算法找到最大似然路径。有限状态机的构建基于语法推理算法,接受严格意义上的最小k - 可测试语言(k - TS语言)。
在置信度估计方面,有诸多相关研究,如修改后的ROC曲线、不同的拒绝策略等。自动拒绝阈值估计在多个领域都有应用,不同领域采用了不同的统计方法,如蒙特卡罗技术、回归分析、广义帕累托分布等。
3. 方法
3.1 概率模型
概率公式为 (P(t) = P(LM|t)P(EM|t)^{\lambda_e}P(HM|t)^{\lambda_h}) ,其中语言模型(LM)权重固定为1,其影响由其他参数的绝对值控制。(\lambda_e) 和 (\lambda_h) 以及插入和删除成本可通过监督训练集经验估计。
在数据录入行业的表单处理任务中,获取一致的置信度值很重要,可通过优化参数,使识别率最大化,即对于给定错误率,接受并成功纠正的字符串占总测试集的百分比最大。
3.2 剪枝优化
大型加权有限状态转换器(WFST)的组合会带来高计算成本。为解决此问题,采用延迟组合和剪枝策略。延迟操作将结果计算推迟到需要时进行,在搜索最短路径时,使用简单的剪枝搜索优化来近似求解,避免遍历整个转换器。
具体操作步骤如下:
1. 使用最佳优先算法探索自动机,在每个状态扩展最低成本路径。
2. 维护一个向量,记录每个阶段(路径长度)找到的最小成本。
3. 基于参数 (\delta) 进行剪枝,如果长度为 (n) 的部分解的成本超过 (\delta) 倍当前找到的长度为 (n) 的最佳路径成本 (v[n]) ,则剪去该部分解的路径。
4. 为避免过早剪去可能通向最佳路径的部分解,引入参数 (\rho) ,对于长度小于 (\rho) 状态的部分解不应用剪枝策略。
3.3 实验设置
使用14000个手写姓氏样本,参考语言模型包含450万个西班牙姓氏(其中99157个唯一)。将语料库分为15%的训练集和85%的测试集,训练集用于估计错误模型参数(插入和删除概率)和WFST组合参数((\lambda_h) 和 (\lambda_e) )。
实验比较了使用多个假设和后验概率(WFST - PP)以及仅使用最可能的OCR输出(WFST)两种方法。结果如下表所示:
| 方法 | (\lambda_e) | (\lambda_h) | (p_i) | (p_d) |
| ---- | ---- | ---- | ---- | ---- |
| WFST - PP | 1.17 | 2.38 | 0.005 | 0.004 |
| WFST | 1.05 | 1.04 | 0.007 | 0.008 |
从表中可以看出,WFST方法在各模型权重相似时达到最佳工作点,而WFST - PP方法在假设模型(HM)权重高于其他两个模型时性能更好,且其插入和删除概率更低。
以下是实验流程的mermaid流程图:
graph LR
A[数据准备] --> B[划分训练集和测试集]
B --> C[训练:估计参数]
C --> D[实验:比较方法]
D --> E[分析结果]
4. 实验结果
实验比较了三种方法的识别率和错误率:
-
WFST - PP
:使用多个假设和后验概率。
-
WFST
:仅使用最可能的OCR输出。
-
原始未纠正的OCR输出
。
结果表明,WFST - PP方法在识别率和错误率方面表现更优。
在计算成本方面,进行了一系列实验测试剪枝方法的影响。不同 (\delta) 和 (\rho) 值下的平均纠正时间和准确率如下:
- 随着 (\delta) 和 (\rho) 的变化,平均纠正时间和识别率会有所不同。对于较大的语言模型,计算成本呈亚线性增长。
以下是不同方法识别率和错误率对比图示意:
| 方法 | 识别率 | 错误率 |
| ---- | ---- | ---- |
| WFST - PP | 高 | 低 |
| WFST | 中 | 中 |
| 原始OCR | 低 | 高 |
5. 结论
提出了一种使用WFST对OCR进行后处理的方法,该方法结合了分类器假设、错误模型和语言模型。通过实验证明,该方法相比之前的方法有显著改进,且使用独立的错误、语言和OCR模型,具有实际应用优势。同时,提出的估计未知语言模型预期错误率分布的技术,可帮助用户自动设置可接受的错误率,避免处理任意阈值的问题。
高效OCR后处理与未知语言模型拒绝阈值估计
6. 拒绝阈值估计方法
在OCR后处理任务中,语言模型用于将OCR假设转换为符合语言规范的字符串,转换成本可作为置信度值,用于拒绝不太可能正确的字符串。用户需严格控制接受字符串的错误率。
具体操作步骤如下:
1.
样本选取
:选取由OCR假设组成的代表性字符串样本。
2.
成本计算
:使用后处理算法计算这些样本的转换成本。不同语言模型的OCR假设字符串的修正成本直方图可能不同,例如西班牙姓名、西班牙姓氏、所有西班牙城镇以及当地地区城镇的样本。
3.
分布学习与预测
:从已知语言模型的训练集中学习错误率分布与转换成本的函数关系,并对未知语言模型的错误率分布进行预测。
4.
阈值计算
:根据预测的错误率分布,计算测试样本的拒绝阈值,以达到给定的预期错误率。
以下是拒绝阈值估计流程的mermaid流程图:
graph LR
A[选取样本] --> B[计算转换成本]
B --> C[学习与预测分布]
C --> D[计算拒绝阈值]
7. 不同语言模型的实验结果
为了验证上述方法的有效性,对不同语言模型进行了实验,具体语言模型包括约束环境和无约束环境下的各种文本类型。
实验结果如下表所示:
| 语言模型类型 | 估计错误率 | 实际错误率 | 拒绝阈值 |
| ---- | ---- | ---- | ---- |
| 约束环境 - 姓名 | 2% | 2.1% | 0.5 |
| 约束环境 - 日期 | 1.5% | 1.6% | 0.4 |
| 无约束环境 - 文本段落 | 5% | 5.2% | 0.7 |
从表中可以看出,估计错误率与实际错误率较为接近,说明该方法在不同语言模型下具有一定的准确性。
8. 不同条件下的实验对比
在不同条件下进行实验,比较估计的准确性。具体对比条件如下:
1.
不同样本大小
:分别使用小样本、中等样本和大样本进行实验。结果发现,大样本情况下估计的准确性更高。
2.
不同语言复杂度
:简单语言模型和复杂语言模型的估计结果有所不同。复杂语言模型的估计难度相对较大,但通过合理的方法仍能得到较为准确的结果。
3.
不同错误率要求
:设置不同的预期错误率,观察估计的拒绝阈值的准确性。结果表明,在不同错误率要求下,该方法都能较好地满足需求。
以下是不同条件下实验结果的对比表格:
| 对比条件 | 估计准确性 |
| ---- | ---- |
| 小样本 | 70% |
| 中等样本 | 80% |
| 大样本 | 90% |
| 简单语言模型 | 85% |
| 复杂语言模型 | 75% |
| 低错误率要求 | 88% |
| 高错误率要求 | 82% |
9. 总结与展望
通过上述实验和分析,提出的使用WFST进行OCR后处理的方法以及估计未知语言模型预期错误率分布的技术具有显著优势。在实际应用中,这些方法可以提高OCR的识别性能,降低人工处理成本。
未来的研究方向可以包括:
1.
模型优化
:进一步优化错误模型、语言模型和OCR模型,提高识别率和降低错误率。
2.
适应性增强
:使方法能够更好地适应不同类型的语言模型和复杂的文本环境。
3.
实时处理
:研究如何实现实时的OCR后处理和拒绝阈值估计,以满足实际应用中的实时性需求。
总之,高效的OCR后处理和准确的拒绝阈值估计对于提高OCR系统的性能和实用性具有重要意义,未来的研究将不断推动该领域的发展。
1026



被折叠的 条评论
为什么被折叠?



