拒绝加班狗,PDF一行代码提取Excel文件

PaddleOCR 服务化部署(基于PaddleHub Serving) 最近用到百度飞桨的 PaddleOCR,研究了一下PaddleOCR的服务化部署,简单记录一些部署过程和碰到的问题。 阅读详情

点击左上方蓝字关注我们

导 读

相信大家在工作生活中经常会遇到表格识别的问题,比如导师说,把下面PDF文件里面的表格取出来整理成Excel表。

也可能会遇到,公司领导或者客户发来一张截图,需要里面的表格取出来转成Excel表。

这种情况下你会怎么做呢,新建一个Excel一个一个数据敲么,辛辛苦苦半天赶出来,领导还会来一句,怎么这么慢,简直郁闷死……

别着急,只要稍微会一点Python代码,这个开源项目神器拯救你!

效果展示

版面分析+表格识别


如图所示,针对一张完整的PDF图片,这个开源项目可以对文档图片中的文本、表格、图片、标题与列表区域进行分类。同时还可以利用表格识别技术完整地提取表格结构信息,使得表格图片变为可编辑的Excel文件。

不仅仅是PDF文件转excel,如果编程能力再强一些,结合版面分析技术,PDF转Word都不在话下。

而且使用也是非常方便,在完成Python whl包安装之后,简单几行代码即可完成快速试用。

最终结果会输出图片文件夹,Excel表和文字识别结果,确实是非常方便。

 

传送门:

https://github.com/PaddlePaddle/PaddleOCR/blob/release/2.2/ppstructure/README_ch.md

版面分析与表格识别核心技术概述

不管是版面分析还是表格识别,现有方案可大致分为基于图像处理的传统方法和基于深度学习的方法。

(1)传统方法:版面分析比较著名的是O’Gorman在1993年TPAMI中发表的算法Docstrum。通过自下而上的方法依次将图像中的黑白连通域划分为文字、文本行与文本块,从而得到版面布局。表格识别的传统方法通过腐蚀、膨胀等操作获得表格线、划分行列区域,然后将单元格与文本内容相结合重构为表格对象。但是传统算法主要问题在于,对于版面布局分析和表格结构的提取,图像处理的方法依赖各种阈值和参数的选择,对于不同场景下的文档图片难以保证泛化性。

(2)深度学习方法:除了直接使用检测模型来对版面内容进行分类以外,还融合了检测、分割、图神经网络、注意力机制等众多前沿技术能力。依赖算法工程师对于深度神经网络的精心设计,可以不再依赖阈值与参数,具有更好的泛化性。

PP-Structure核心技术解读

  • 版面分析技术

PP-Structure的版面分析技术,主要是对图片形式的文档进行版面分析,将文档划分为文字、标题、表格、图片以及列表5类区域(与Layout-Parser联合使用)。其核心技术思路与Layout-Parser项目密切合作,参考了Layout-Parser的工程结构设计,配合PaddleDetection开源的高效检测算法PP-YOLO v2,在数据集TableBank和PubLayNet上mAP分别达到93.6和96.2, NVIDIA Tesla P40 耗时仅需66.6ms,且可以支持用户根据自己的数据自定义训练。

Layout-Parser是开源的基于深度学习的文档图像分析工具箱,可用于布局检测,字符识别和许多其他文档处理任务,包含大量丰富模型,支持自定义DL模型,支持多个文档布局检测数据集。

GitHub地址:

https://github.com/Layout-Parser/layout-parser

  • 表格识别技术

表格识别技术则主要使用基于注意力机制的图片描述模型RARE,整体流程如下图所示,对于其中的表格区域进行表格识别处理。

表格识别的难点主要在于表格结构的提取,以及将表格信息与OCR信息融合。整体流程可以分为上下两部分,其中上半部分(黑色支路)是普通的OCR过程,通过(1)文本检测模块对表格图片进行单行文字检测,获得坐标,然后通过(2)文本识别模块识别模型得到文字结果。

而在下半部分的在蓝色支路中,表格图片首先经过(3)表格结构预测模块,获得每个Excel单元格的四点坐标与表格结构信息。结合黑色支路文本检测获得的单行文字文本框4点坐标,共同输入(4)Cell坐标聚合模块,再通过(5)Cell文本聚合模块,将属于同一单元格的文本拼接在一起。最后结合表格结构信息,通过(6)Excel导出模块获得Excel形式的表格数据。

下面分别针每个模块分别展开介绍。

(1)文本检测模块 和(2)文本识别模块:

主要使用PP-OCR提供的检测和识别算法。

(3)表格结构预测模块,主要使用基于Attention的图片描述模型RARE,RARE模型可以实现:输入一张图片,通过带有注意力机制的网络输出一段文字,描述图片的内容,而针对于表格图片的图片描述网络,输入一张经过版面分析的表格图片,输出的是一串HTML字符(如下图所示)。表格的结构通过HTML的结构标记表示,其中的内容即为表格文本中的内容。通过进一步的HTML解析,可以获得每个文本的单元格四点坐标和表格结构信息。

(4)Cell坐标聚合模块,主要用来解决如何将跨行单元格的文本重新拼接在一个单元格内的问题。它通过计算由文本检测算法获得的文本框坐标(红色框)与表格结构预测模块得到的Cell坐标(蓝色框)之间的IOU和顶点距离来进行单行到多行的聚合。使用IOU判断哪些红色框同属于一个蓝色框,使用顶点距离和IOU判断红色框的排列顺序。

(5)Cell文本聚合模块,根据已有的红色文本框顺序,按照从上到下从左到右顺序利用(4)Cell坐标聚合模块的结果将(2)文本识别结果和进行拼接,这样对于多行文本的单元格内容即可拼接成一个字符串。

(6)Excel导出模块,将(3)表格结构预测结果html结果与(5)Cell文本聚合模块文本结果结合,最终导出为Excel输出。

以上所有内容均在PaddleOCR项目开源,目前star数量超过13.5k

相关延伸阅读:

PaddleOCR历史表现回顾

  • 2020年6月,8.6M超轻量模型发布,GitHub Trending 全球趋势榜日榜第一。

  • 2020年8月,开源CVPR2020顶会算法,再上GitHub趋势榜单!

  • 2020年10月,发布PP-OCR算法,开源3.5M超超轻量模型,再下Paperswithcode 趋势榜第一

  • 2021年1月,发布Style-Text文本合成算法,PPOCRLabel数据标注工具,star数量突破10000+,截至目前已经达到11.5k,在《Github 2020数字洞察报告》中被评为中国GithubTop20活跃项目。

  • 2021年4月,开源AAAI顶会论文PGNet端到端识别算法,Star突破13k

  • 2021年8月,开源版面分析与表格识别算法

文本检测识别效果:

这个最强OCR项目,你值得拥有:

https://github.com/PaddlePaddle/PaddleOCR

8月12日(周四)20:15-21:30百度高级研发工程师将带我们解读文档分析技术PP-Structure及PaddleOCR应用落地经验,欢迎大家踊跃报名直播课!

 

扫描二维码报名,立即加入交流群

如果您想详细了解更多飞桨的相关内容,请参阅以下文档。

·PaddleOCR项目地址·

GitHub:

https://github.com/PaddlePaddle/PaddleOCR

Gitee:

https://gitee.com/paddlepaddle/PaddleOCR

·官网地址·

https://www.paddlepaddle.org.cn/

PaddleOCR:基于百度飞桨的OCR工具库 注意:不要使用python3.12,paddlex安装会出错。验证 PaddlePaddle 是否安装成功。关于出错信息,文心一言的答案。 阅读详情

相关推荐

Pyinstaller 打包 Pyzbar 时缺失 DLL 文件的排查与修复指南

本文详细解析了使用Pyinstaller打包Pyzbar库时,因缺失关键DLL文件导致程序闪退的常见问题。文章提供了从问题复现、错误诊断到最终修复的完整解决方案,核心在于通过修改.spec配置文件,手动将缺失的libzbar-64.dll等文件添加到打包过程中,确保生成的可执行文件能独立运行。

wdx012345的博客 504

PaddleOCR实现对表格的提取

paddleocr, 图像识别,表格提取

zcc_0015的专栏 7125

揭秘Coze图生图隐藏玩法:用Excel批量生成100+电商主图(扣子插件进阶教程)

本文深入解析了如何利用Coze(扣子)的图像生成插件实现电商主图的批量自动化生产。通过将Excel数据源、参数化提示词模板与参考图风格相结合,构建了一套高效的企业级解决方案,能够快速为海量SKU生成风格统一的高质量图片,大幅提升电商运营效率。

theta的博客 435

PaddleOCR新发版v2.2:开源版面分析与轻量化表格识别

点击左上方蓝字关注我们导读时隔数月之后PaddleOCR发版v2.2,又带着新功能和大家见面了。本次更新,为大家带来最新的版面分析与表格识别技术:PP-Structure。核心功能点如下:...

PaddlePaddle 6042

Windows摄像头错误0xA00F4240根因与注册表修复指南

Windows摄像头错误码0xA00F4240常被误判为硬件故障,实则源于UWP应用模型下权限调用链断裂——核心是COM组件调用失败(HRESULT 0x80004003),本质反映Windows Runtime API对注册表策略键值(如CapabilityAccessManager\ConsentStore\webcam)的强依赖。该机制涉及服务状态、DWORD权限配置、ACL继承控制等多层校验,任一环节异常(如ValueLastModified时间戳损坏或ALL APPLICATION PACKAGE

weixin_31742871的博客 398

TwinCAT报SSE invalid operation错误

错误类型 TwinCAT程序中报出以下错误: 严重性 代码 说明 项目 文件 行 禁止显示状态 错误 **** 383 ms | 'Port_851' (851): Exception (Exception Code: 0xc0000090, SSE invalid operation) in PLC Application Untitled1 Instance, Task PlcTask (RBP: 0xffffb3016c80ecc0, RIP: 0xffffe708ee5b5f53, RSP:

akadiao的博客 4164

PaddleOCR - 安装使用

当然有些库也依赖高版本的 PyMuPDF,如果项目不相关,可以放在不同 env。感觉写的冗长,实际很简单,本人使用的 Ubuntu 在此记录。您的机器安装的是CUDA9或CUDA10,请运行以下命令安装。如网络链接不畅,可使用 gitee(存在3~5天延时)(我使用 CUDA 12,也是这样安装的)1、安装 PaddlePaddle。3、安装 requirements。2、下载 PaddleOCR。4、安装 pdf2docx。2024-07-18(四)5、安装 PyMuPDF。更新 pip(可跳过)

AI工程化、开源分享、文档翻译、代码笔记 7959

ABAP Open SQL 数据拷贝导致 SAPSQL_DATA_LOSS:从报错机理到稳妥修复

数据类型与长度不合规。一旦在Open SQL的无损赋值检查里被发现,系统宁可中止也不会偷偷替你截断。把变量声明对齐到字典、在需要时明确表达转换/截断意图、写法上避免落入高危的操作数位置,再配合ATC的预防性检查,既能解决你这次的ST22Dump,也能把同类问题消灭在萌芽状态。

2007 年 ~ 2025 年,深耕 SAP 技术 18 年 433

高效工作,拒绝加班,看Python自动化功能到底有多强大

如今越来越多的人加入到学习Python的队伍当中,尤其是对于很多职场人来说,不管你是程序员还是非程序员,Python已经为很多职场人士带来了不少便捷。随着Python在职场人心中的地位逐渐上升,许多公司在招聘当中也开始倾向于掌握Python技能的应聘者,就连一些非互联网公司也开始把“会python优先”写在招聘JD里。

xx16755498986的博客 123

华为OD机试真题 2026-9-2【查找幸运数】

华为OD机试真题 新系统【查找幸运数】,提供C语言、Java、C++、Python、Go、JavaScript源码实现,并提供完整思路讲解,以及在线OJ模拟做题。华为OD机试真题 【查找幸运数】多语言题解。

qq_45776114的博客 506

小论文/大论文必备 | YOLO多模态目标检测、绘制曲线对比图 | 引入多种绘制曲线对比图,包括mAP0.5,mAP0.5:0.95,Loss损失变化的曲线对比

本文通过可视化方法分析YOLO多模态模型的训练过程,对比不同实验的检测精度和损失函数变化。主要内容包括:1)绘制mAP@0.5和mAP@0.5:0.95曲线评估检测精度;2)分析边界框回归损失(box_loss)、分类损失(cls_loss)和分布式损失(dfl_loss)的收敛趋势;3)提供完整的Python代码实现,支持多实验对比,可生成高清曲线图。该方法能直观展示模型训练效果,便于优化策略评估和参数调优。

Ai缝合怪、助力小伙伴高效发论文 263

拒绝无效加班:Python 自动化办公的终极实战指南

还在每天复制粘贴做到手抽筋?😱 别让机械劳动吞噬你的创造力!本文揭秘 Python 自动化办公的 4 大核心场景,附赠可以直接运行的代码模版。从 Excel 自动合并到 10 秒生成 500 份合同,教你如何用代码解放双手,真正实现"摸鱼"自由!🚀 #Python自动化 #职场效率 #黑科技 #程序员 #Excel技巧 #办公自动化 #Python入门 #升职加薪

weixin_42636075的博客 1207

华为OD机考真题 新系统 9月23号 【世界杯徽章换购】多语言题解

华为OD机试真题 新系统【世界杯徽章换购】,提供C语言、Java、C++、Python、Go、JavaScript源码实现,并提供完整思路讲解,以及在线OJ模拟做题。华为OD机试真题 【世界杯徽章换购】多语言题解。

qq_45776114的博客 696

Python 办公自动化,全网最全整理来了!拒绝无效率加班!

有需要学习视频的小伙伴可以后台主动打招呼,即可免费获取。

m0_70615468的博客 6032

C# WinForm 基于DirectShow.dll编写的程序,可边预览边保存视频,音频和图片

基于微软的DirectShow.dll的二次开发1.自动识别连接的摄像头跟麦克风且可以对其进行选择(默认选中第一个)2.可录制wmv和avi两种格式的视频并且都带有音频,avi可以录制的分辨率和帧数进行选择,wmv默认进行了淸晰度优化如不喜欢可去除代码中有相关提示3.可在预览点开之后进行拍照,也可边录制视频边拍照4.添加了视频和音频的压缩功能(酌情使用)这次二次开发发现C#对DirectShow的相关信息太少,这次做完也不敢藏私共享出来,还望大家指正

华为的C语言编程规范.pdf

华为技术有限公司内部技术规范。本规范制定了编写C语言程序的基本原则、规则和建议。从代码的清晰、简洁、可测试、安全、程序效率、可移植各个方面对C语言编程作出了具体指导。

python自动化干什么-高效工作,拒绝加班,看Python自动化功能到底有多强大

如今越来越多的人加入到学习Python的队伍当中,尤其是对于很多职场人来说,不管你是程序员还是非程序员,Python已经为很多职场人士带来了不少便捷。随着Python在职场人心中的地位逐渐上升,许多公司在招聘当中也开始倾向于掌握Python技能的应聘者,就连一些非互联网公司也开始把“会python优先”写在招聘JD里。而之所以出现这种现象,其实和Python能够解放人的双手,实现自动化办公。而对于...

weixin_37988176的博客 632

汉书HE8,好用的汇编代码编写工具

汉书HE8,好用的汇编代码编写工具早期编写汇编代码所用功能强大

python自动化运维工资高吗_高效工作,拒绝加班,看Python自动化功能到底有多强大...

如今越来越多的人加入到学习Python的队伍当中,尤其是对于很多职场人来说,不管你是程序员还是非程序员,Python已经为很多职场人士带来了不少便捷。随着Python在职场人心中的地位逐渐上升,许多公司在招聘当中也开始倾向于掌握Python技能的应聘者,就连一些非互联网公司也开始把“会python优先”写在招聘JD里。而之所以出现这种现象,其实和Python能够解放人的双手,实现自动化办公。而对于...

weixin_39588265的博客 261

WINCC7.3破解文件

WINCC7.3硬件够破解文件,有需要的下载!WINCC7.3硬件够破解文件,有需要的下载!

保姆级 Python 自动化办公实战:一文搞定 Excel/Word/PDF 批量处理,新手零门槛直接复用

本文覆盖职场人最高频的 3 大办公场景:Excel 批量处理、Word 合同自动生成、PDF 内容提取与合并,所有代码均可直接复制运行,附带逐行注释和避坑指南,哪怕你是第一次接触 Python,也能跟着本文做出属于自己的自动化脚本。核心思路:提前在 Word 模板里用{{变量名}}标记需要替换的内容,比如{{姓名}}、{{合同金额}},然后用 Python 批量读取 Excel 里的人员信息,自动替换模板内容,生成独立的 Word 文档。print("PDF内容提取完成!

a1234567890603的博客 320

拒绝当“表哥表姐”!Python 自动化办公实战:把加班的时间留给打游戏

学习 Python 自动化,不是为了让你转行去当软件工程师(虽然这行薪水不错),而是为了给你手中的剑加上一块磨刀石。当你看着屏幕上黑色的命令行窗口里,白色的字符疯狂跳动,最后一行显示技术不是为了让我们变得更累,而是为了让我们更有尊严地偷懒。所以,别犹豫了。今晚回家,别刷短视频了,打开你的终端,敲下那句神圣的")。这不仅仅是一行代码,这是你向枯燥工作宣战的号角。《AI编程从开发到变现小白入门》手册VicroCode,AI编程时代的代码部署交易平台。

AI心易行者 245

还在为图片转PDF发愁?这款免费工具,让你告别加班,效率翻倍!

但456PDF(官网:456pdf.cn)的核心功能,包括图片转PDF、PDF转Word等,都是永久免费的,不用担心突然弹出付费窗口。456PDF是在线工具,无需下载安装包,不占用电脑内存,打开浏览器输入网址就能立刻开始工作,效率提升不止一点点。:除了基础的“图片转PDF”,它还支持PDF转Word、Excel、PPT等多种格式互转。更厉害的是,它还内置了。它不仅完全免费,而且无需安装,打开网页就能用,堪称“图片转PDF”界的良心之作!功能,即使是扫描版的图片,也能精准识别出文字,让你轻松编辑。

菜鸟运营官 128

自动化 python 日常工作_高效工作,拒绝加班,看Python自动化功能到底有多强大...

如今越来越多的人加入到学习Python的队伍当中,尤其是对于很多职场人来说,不管你是程序员还是非程序员,Python已经为很多职场人士带来了不少便捷。随着Python在职场人心中的地位逐渐上升,许多公司在招聘当中也开始倾向于掌握Python技能的应聘者,就连一些非互联网公司也开始把“会python优先”写在招聘JD里。而之所以出现这种现象,其实和Python能够解放人的双手,实现自动化办公。而对于...

weixin_39836751的博客 132
上一篇: 【干货人生篇】过早优化的陷阱!
下一篇: 机器学习建模中的Bagging思想!
Wang_AI
博客等级 码龄12年 997粉丝 162原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值