85、高效OCR后处理与未知语言模型拒绝阈值估计

高效OCR后处理与未知语言模型拒绝阈值估计

1. 引言

光学字符识别(OCR)在处理印刷或手写文本后,通常会进行后处理,以提升最终识别性能。语言模型可对文本内容施加约束,不同类型的表单字段对应着不同的语言模型,如姓名、年龄、日期等。在大规模工业表单处理中,新的语言模型会不断出现。

后处理技术可提供可靠性指标,通过设置阈值能拒绝那些不太可能正确的字符串,降低错误率。但阈值的选择对系统性能和经济效益影响重大,过高的拒绝率会增加人工数据录入成本。因此,本文提出一种估计未知语言模型预期错误率分布的技术,以此估算测试样本的拒绝阈值。

2. 相关工作

在连续语音识别领域,许多语言建模技术可应用于OCR任务,如字典搜索、n - 元语法、隐马尔可夫模型等。在OCR和文本识别任务中,也有不少使用语言建模进行纠错的工作。

本文采用错误纠正解析(ECP)技术处理OCR假设,通过形式语法构建有限状态机,利用维特比算法找到最大似然路径。有限状态机的构建基于语法推理算法,接受严格意义上的最小k - 可测试语言(k - TS语言)。

在置信度估计方面,有诸多相关研究,如修改后的ROC曲线、不同的拒绝策略等。自动拒绝阈值估计在多个领域都有应用,不同领域采用了不同的统计方法,如蒙特卡罗技术、回归分析、广义帕累托分布等。

3. 方法
3.1 概率模型

概率公式为 (P(t) = P(LM|t)P(EM|t)^{\lambda_e}P(HM|t)^{\lambda_h}) ,其中语言模型(LM)权重固定为1,其影响由其他参数的绝对值控制。(\lambda_e) 和 (\lambda_h) 以及插入和删除成本可通过监督训练集经验估计。

在数据录入行业的表单处理任务中,获取一致的置信度值很重要,可通过优化参数,使识别率最大化,即对于给定错误率,接受并成功纠正的字符串占总测试集的百分比最大。

3.2 剪枝优化

大型加权有限状态转换器(WFST)的组合会带来高计算成本。为解决此问题,采用延迟组合和剪枝策略。延迟操作将结果计算推迟到需要时进行,在搜索最短路径时,使用简单的剪枝搜索优化来近似求解,避免遍历整个转换器。

具体操作步骤如下:
1. 使用最佳优先算法探索自动机,在每个状态扩展最低成本路径。
2. 维护一个向量,记录每个阶段(路径长度)找到的最小成本。
3. 基于参数 (\delta) 进行剪枝,如果长度为 (n) 的部分解的成本超过 (\delta) 倍当前找到的长度为 (n) 的最佳路径成本 (v[n]) ,则剪去该部分解的路径。
4. 为避免过早剪去可能通向最佳路径的部分解,引入参数 (\rho) ,对于长度小于 (\rho) 状态的部分解不应用剪枝策略。

3.3 实验设置

使用14000个手写姓氏样本,参考语言模型包含450万个西班牙姓氏(其中99157个唯一)。将语料库分为15%的训练集和85%的测试集,训练集用于估计错误模型参数(插入和删除概率)和WFST组合参数((\lambda_h) 和 (\lambda_e) )。

实验比较了使用多个假设和后验概率(WFST - PP)以及仅使用最可能的OCR输出(WFST)两种方法。结果如下表所示:
| 方法 | (\lambda_e) | (\lambda_h) | (p_i) | (p_d) |
| ---- | ---- | ---- | ---- | ---- |
| WFST - PP | 1.17 | 2.38 | 0.005 | 0.004 |
| WFST | 1.05 | 1.04 | 0.007 | 0.008 |

从表中可以看出,WFST方法在各模型权重相似时达到最佳工作点,而WFST - PP方法在假设模型(HM)权重高于其他两个模型时性能更好,且其插入和删除概率更低。

以下是实验流程的mermaid流程图:

graph LR
    A[数据准备] --> B[划分训练集和测试集]
    B --> C[训练:估计参数]
    C --> D[实验:比较方法]
    D --> E[分析结果]
4. 实验结果

实验比较了三种方法的识别率和错误率:
- WFST - PP :使用多个假设和后验概率。
- WFST :仅使用最可能的OCR输出。
- 原始未纠正的OCR输出 。

结果表明,WFST - PP方法在识别率和错误率方面表现更优。

在计算成本方面,进行了一系列实验测试剪枝方法的影响。不同 (\delta) 和 (\rho) 值下的平均纠正时间和准确率如下:
- 随着 (\delta) 和 (\rho) 的变化,平均纠正时间和识别率会有所不同。对于较大的语言模型,计算成本呈亚线性增长。

以下是不同方法识别率和错误率对比图示意:
| 方法 | 识别率 | 错误率 |
| ---- | ---- | ---- |
| WFST - PP | 高 | 低 |
| WFST | 中 | 中 |
| 原始OCR | 低 | 高 |

5. 结论

提出了一种使用WFST对OCR进行后处理的方法,该方法结合了分类器假设、错误模型和语言模型。通过实验证明,该方法相比之前的方法有显著改进,且使用独立的错误、语言和OCR模型,具有实际应用优势。同时,提出的估计未知语言模型预期错误率分布的技术,可帮助用户自动设置可接受的错误率,避免处理任意阈值的问题。

高效OCR后处理与未知语言模型拒绝阈值估计

6. 拒绝阈值估计方法

在OCR后处理任务中,语言模型用于将OCR假设转换为符合语言规范的字符串,转换成本可作为置信度值,用于拒绝不太可能正确的字符串。用户需严格控制接受字符串的错误率。

具体操作步骤如下:
1. 样本选取 :选取由OCR假设组成的代表性字符串样本。
2. 成本计算 :使用后处理算法计算这些样本的转换成本。不同语言模型的OCR假设字符串的修正成本直方图可能不同,例如西班牙姓名、西班牙姓氏、所有西班牙城镇以及当地地区城镇的样本。
3. 分布学习与预测 :从已知语言模型的训练集中学习错误率分布与转换成本的函数关系,并对未知语言模型的错误率分布进行预测。
4. 阈值计算 :根据预测的错误率分布,计算测试样本的拒绝阈值,以达到给定的预期错误率。

以下是拒绝阈值估计流程的mermaid流程图:

graph LR
    A[选取样本] --> B[计算转换成本]
    B --> C[学习与预测分布]
    C --> D[计算拒绝阈值]
7. 不同语言模型的实验结果

为了验证上述方法的有效性,对不同语言模型进行了实验,具体语言模型包括约束环境和无约束环境下的各种文本类型。

实验结果如下表所示:
| 语言模型类型 | 估计错误率 | 实际错误率 | 拒绝阈值 |
| ---- | ---- | ---- | ---- |
| 约束环境 - 姓名 | 2% | 2.1% | 0.5 |
| 约束环境 - 日期 | 1.5% | 1.6% | 0.4 |
| 无约束环境 - 文本段落 | 5% | 5.2% | 0.7 |

从表中可以看出,估计错误率与实际错误率较为接近,说明该方法在不同语言模型下具有一定的准确性。

8. 不同条件下的实验对比

在不同条件下进行实验,比较估计的准确性。具体对比条件如下:
1. 不同样本大小 :分别使用小样本、中等样本和大样本进行实验。结果发现,大样本情况下估计的准确性更高。
2. 不同语言复杂度 :简单语言模型和复杂语言模型的估计结果有所不同。复杂语言模型的估计难度相对较大,但通过合理的方法仍能得到较为准确的结果。
3. 不同错误率要求 :设置不同的预期错误率,观察估计的拒绝阈值的准确性。结果表明,在不同错误率要求下,该方法都能较好地满足需求。

以下是不同条件下实验结果的对比表格:
| 对比条件 | 估计准确性 |
| ---- | ---- |
| 小样本 | 70% |
| 中等样本 | 80% |
| 大样本 | 90% |
| 简单语言模型 | 85% |
| 复杂语言模型 | 75% |
| 低错误率要求 | 88% |
| 高错误率要求 | 82% |

9. 总结与展望

通过上述实验和分析,提出的使用WFST进行OCR后处理的方法以及估计未知语言模型预期错误率分布的技术具有显著优势。在实际应用中,这些方法可以提高OCR的识别性能,降低人工处理成本。

未来的研究方向可以包括:
1. 模型优化 :进一步优化错误模型、语言模型和OCR模型,提高识别率和降低错误率。
2. 适应性增强 :使方法能够更好地适应不同类型的语言模型和复杂的文本环境。
3. 实时处理 :研究如何实现实时的OCR后处理和拒绝阈值估计,以满足实际应用中的实时性需求。

总之,高效的OCR后处理和准确的拒绝阈值估计对于提高OCR系统的性能和实用性具有重要意义,未来的研究将不断推动该领域的发展。

axios是如何做到取消请求的 业务具体场景需求 请求接口获取数据 显示 loading 遮罩防止用户后续请求 loading 遮罩上要有一个取消按钮,防止接口时间过长影响用户体验 收到接口数据,关闭 loading 遮罩,跳转到下一个界面 axios 的逻辑实现(取消请求部分) const CancelToken = axios.CancelToken; const source = CancelToken.source(); axios.get('/user/12345', { cancelToken: source.tok 阅读详情

相关推荐

axios取消请求逻辑

axios取消请求逻辑。

weixin_50902154的博客 1026

axios请求及响应拦截

对于一次http请求简单来讲,就两个过程(非http建立连接过程),一是将前端请求发送到后端,二是将后端处理后的数据拿到。那么在请求发送之前,以及数据返回之后,我们都可以对请求的结构以及返回的数据做一个处理,然后在将请求发给后端(如在请求头中增加token),如果是后端返回数据,则可以根据状态码来进行提前的一个提示。以下就对axios封装的代码做一个简单的介绍。 对axios进行基础配置 impo...

weixin_43487252的博客 1万+

基于 Quest 摄像头数据开发的原理介绍【Unity Meta Quest MR 开发教程】

比如想在识别到的现实物体上叠加虚拟物体,需要知道这个现实物体在 Unity 的世界坐标下的哪个位置,是带有 x,y,z 三个轴的数据的。而 WebCamTexture 捕捉到的图像只是个 2D 的平面,没有三维世界的深度信息,我们通过物体识别算法识别到的物体坐标只是在这个 2D 平面上的一个屏幕坐标,可以理解为 Quest 拍摄了一张照片,我们识别到这张照片上的某个像素点为需要识别的现实物体的中心。是不是看起来比较复杂?Quest 的相机访问功能是在安卓的。

qq_46044366的博客 2108

Vue之axios请求

Vue的axios请求

m0_55297736的博客 2156

SNN系列|编码篇(2)时序编码

Tempotral Coding 选择编码方法是要根据编码对象以及模型如何处理编码信息进行选择,如下是一种时序信息的编码对比: Threshold-based encoding 又称为tempotral contrast,该方法可以用于编解码一段序列,当差值超过阈值时发放脉冲,阈值是根据编码的序列自适应变化的。 使用该编码方法时,实值序列最好是沿时间变化的,因为在根据差分决定是否发放脉冲后,脉冲的顺序与差分顺序有关。 Time-to-first spike coding 该编码方法将信息用神经元首次

Tianlong Lee的博客 1万+

HDLBits答案汇总

前言 该博客为本人做HDLBits习题时的心得记录总结,欢迎大家一起交流进步。 HDLBits网站链接 Verilog Language Basics Vectors Modules:Hierarchy Procedures More Verilog Features Circuits Combinational Logic Basic gates Multiplexers Arithmetic Circuits Karnaugh Map to Circuit Sequential Logic Latche

谦豫 9万+

【Axios】常用请求方法和请求配置详解

Axios 是一个流行的 HTTP 客户端,用于浏览器和 Node.js。它的最大特点是基于 Promise,方便处理异步操作。此外,它还支持请求和响应的拦截、取消请求、自动转换 JSON 数据等功能。Axios 常用于前端与 RESTful API 通信。Axios 是一个功能强大、灵活的 HTTP 客户端,适用于各种前后端通信场景。通过掌握 GET、POST、PUT、DELETE 等常见请求方法,以及请求头、超时、拦截器、取消请求等高级功能,开发者可以轻松应对复杂的网络请求场景。

lph159的博客 4591

Zemax实现微透镜阵列光束整形(原理+仿真)

通过Zemax实现微透镜阵列的光场整形仿真。

VJCP_90909Bu0的博客 1万+

axios请求拦截器如何设置请求头

axios请求拦截器如何设置请求头 axios中文文档:http://www.axios-js.com/zh-cn/docs/ axios英文文档:https://www.npmjs.com/package/axios 拦截器-中文版 拦截器(Interceptors)-英文 调用axios接口方法发送请求之前触发拦截器 axios.interceptors.request.use(function (config) { config.headers.Authorization = token

weixin_44867717的博客 1万+

SAP_SD模块路径及运输功能后台配置简介

后台路径:SPRO—后勤执行—装运—基本发运功能—定义路线—定义传输模式根据实际运输过程运输地理的类型:海运、公路运输、空运后台路径:SPRO—后勤执行—装运—基本发运功能—定义路线—定义发运类型根据实际运输过程运输方式:汽车、卡车、火车、轮船、飞机后台路径:SPRO—后勤执行—装运—基本发运功能—路径—定义路线—定义运输连接点指在运输过程中需要中转的地区可以维护中转地区的停留的时间后台路径:SPRO—后勤执行—装运—基本发运功能—路径—定义路线—定义路径和阶段。

我小时候很黑的博客 1402

基于STM32设计的自动追光系统(项目资料ID:2)

基于STM32设计的自动追光系统主要由光敏采集电路、单片机核心板电路和步进电机控制电路构成。通过光敏电阻采集环境光强信息,经 STM32 单片机处理后,控制步进电机转动,实现对光源的自动追踪。该系统具有响应速度快、追踪精度较高等优点,可应用于太阳能发电、智能照明等领域,为相关场景提供高效的光资源利用方案。

以培养嵌入式工程师为己任 1万+

axios添加请求头

axios添加请求头

gqyuan8888的博客 7693

华为OD新系统机试真题-8位LED控制器(C/C++/Py/Java/Js/Go)

华为OD新系统机试真题【8位LED控制器】,提供C语言、Java、C++、Python、Go、JavaScript源码实现,并提供完整思路讲解,以及在线OJ模拟做题。华为OD新系统4月19号机试真题【8位LED控制器】

qq_45776114的博客 606

鸿蒙开发-Axios网络请求

本文介绍了如何在鸿蒙(ArkTS)开发中使用第三方Axios库实现网络请求。主要内容包括:1. 申请网络权限配置;2. 安装@ohos/axios三方库;3. 搭建json-server测试服务器;4. 封装axios基础配置;5. 实现GET、POST、PUT、DELETE四种请求方式的完整示例代码。文章通过具体代码演示了网络请求的实现过程,包括参数传递、响应处理和错误捕获,为开发者提供了在鸿蒙应用中使用Axios的实践指导。所有示例均包含UI交互按钮,方便开发者快速测试验证网络请求功能。

weixin_58280240的博客 1948

Python爬虫抓取学术期刊数据(Springer、Elsevier)

本文详细介绍了如何使用Python爬虫抓取学术期刊网站(如Springer、Elsevier)上的文章信息,并进行数据清洗和存储。我们使用了requestsSeleniumpandas等技术,通过模拟浏览器行为来绕过反爬虫机制,并将数据保存为Excel文件,方便后续分析。未来,我们可以通过加入更多的期刊网站数据源,扩展爬虫的功能,抓取更多的学术数据。同时,结合自然语言处理(NLP)技术,可以对抓取的文章进行自动化的摘要提取和主题分类,为学术研究提供更多的支持。

2201_76125261的博客 1488

霍尼韦尔SoftMaster使用说明

霍尼韦尔SoftMaster使用说明

使用axios请求数据的方法

get方式请求: axios.get('/detail?id=10').then(function (res) { //成功获取数据 console.log(res); }).catch(function (err) { //请求错误 console.log(err);} 或者是参数单独写: // 带参数的get请求 axios.get('/detail',...

yinge0508的博客 2466

jdk-8u144-linux-x64.tar.gz.

该资源为搭建Linux系统Java环境用,资源的后缀为tar.gz格式的压缩包

Axios 如何处理并发请求

Axios 提供了一些方法来处理并发请求,使得代码更加简洁和高效。通过使用和,开发者可以更高效地处理并发请求,满足项目的需求。希望本文对你有所帮助,如果你有任何问题或建议,欢迎在评论区留言讨论。

你若盛开,清风自来 1370

RU DOS版、EFI版32bit/64bit BIOS常用工具

DOS版、EFI版的RU工具,可用来查看IO、MEM、PCI、SMBIOS等资源。亲测在EFI SHELL下可用。

WINCC7.3破解文件

WINCC7.3硬件够破解文件,有需要的下载!WINCC7.3硬件够破解文件,有需要的下载!

Axios请求

axios文档笔记以及使用element-ui loading和登录权限控制的例子

2301_76603086的博客 1081

【网络请求之Axios】axios的基础用法

代码: 结果: 代码: 结果: 结果: axios的返回值是一个Promise类型。代码: 结果: 结果: 注意:这里的请求体参数可以直接写在{}中,而不用加data 结果: 黑马vue视频,感谢llb老师。建议学习axios之前先了解一下http协议。...

在热爱技术的路上一直前行。 1万+

axios发送网络请求

本文介绍了常见的网络请求方法,以及封装axios请求

2201_75919511的博客 1223

axios请求的取消

Axios请求取消功能可以通过CancelToken实现,主要步骤包括:创建CancelToken、配置请求使用token、调用cancel()方法取消请求。在Vue中可结合组件生命周期管理取消逻辑,如在beforeDestroy钩子中取消请求。示例展示了输入框频繁请求时自动取消前序请求的实现方式,通过保存cancelToken引用,在每次新请求前取消之前的请求,确保只保留最新请求。该方法能有效优化性能,避免不必要请求和潜在的内存泄漏问题。

码上暴富 699

Axios 请求

Axios 是基于 Promise 的 HTTP 客户端,可在浏览器和 Node.js 中使用,本质是对原生的封装,解决了传统 AJAX 语法繁琐、回调地狱等问题,是目前前端最流行的网络请求工具之一。

2301_81157366的博客 638

axios 取消请求

最近在项目中发现同一个请求有时会被多次调用,虽然可以通过“节流”“防抖”来控制请求次数,但是效果不是自己的理想效果。所以想到了 axios 中的取消请求方法,根据思路做了取消请求功能。

weixin_44298215的博客 773

axios 跨域请求详解

写这篇文章的背景是因为之前遇到的,在跨域的情况下通过 axios 发起的 get 请求正常,post 请求会在正式请求发送之前先发送一个 opstions 请求,而后端接口没有兼容 options,导致 404 的情况。 而在解决这个问题时带着好奇心顺带查了一下,给自己补充了些知识点。 跨域请求分两种 简单讲,从 JavaScript 代码发起的 XMLHttpRequest 请求可以分为两种: ...

weixin_33991418的博客 3484

axios类型请求

【代码】axios类型请求。

Qpenpred的博客 967

vue axios如何发送api请求

Axios 是 Vue 中最常用的 HTTP 客户端,用于与后端 API 交互。以下是详细的使用方法。

leijmdas的专栏 1286
上一篇: 低功率降压开关电容转换器设计
下一篇: 18、深入探索Word2Vec及其扩展技术
gitlab7runner
博客等级 码龄4年 78粉丝 1747原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符  | 博主筛选后可见
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值