项目介绍：PubTabNet

最新推荐文章于 2025-04-25 08:50:56 发布
最新推荐文章于 2025-04-25 08:50:56 发布
阅读量657 收藏 7
点赞数 4
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/gitblog_00072/article/details/138243431

项目介绍：PubTabNet

PubTabNet 项目地址: https://gitcode.com/gh_mirrors/pu/PubTabNet

PubTabNet 是一个基于深度学习的表格识别和提取工具，能够自动识别 PDF 文档中的表格，并将其转换为结构化的表格数据。该项目由 IBM 开发，使用了最新的自然语言处理和计算机视觉技术，能够高效准确地识别表格内容，并输出为 CSV 或 Excel 格式。

技术分析

PubTabNet 的核心技术是基于深度学习的表格识别和提取。该项目使用了最新的自然语言处理和计算机视觉技术，包括卷积神经网络、循环神经网络和注意力机制等。通过训练模型，可以使其能够准确地识别表格内容，并将其转换为结构化的表格数据。

PubTabNet 还使用了一种新颖的方法来解决表格识别中的一些问题，如表格行列的对齐和重叠问题。该方法使用了一种称为 DETR 的深度学习框架，能够高效地识别表格内容，并将其转换为结构化的表格数据。

应用场景

PubTabNet 可以广泛应用于各种领域，如金融、医疗、科学等。在金融领域，可以使用 PubTabNet 来自动识别和提取财务报表中的数据，从而节省时间和人力成本。在医疗领域，可以使用 PubTabNet 来自动识别和提取临床试验数据，从而加速数据分析和决策制定。

特点

PubTabNet 的特点包括：

  • 高效准确：PubTabNet 使用了最新的深度学习技术，能够高效准确地识别表格内容，并将其转换为结构化的表格数据。
  • 多格式支持：PubTabNet 支持将表格转换为 CSV 或 Excel 格式，方便用户进行进一步的数据分析和处理。
  • 易于使用：PubTabNet 提供了简单易用的 API 接口，用户只需要上传 PDF 文档，即可快速地获取结构化的表格数据。
  • 开源免费：PubTabNet 是一个开源项目，用户可以免费使用和下载。

结论

PubTabNet 是一个基于深度学习的表格识别和提取工具，具有高效准确、多格

PubTabNet 项目地址: https://gitcode.com/gh_mirrors/pu/PubTabNet

创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考

PubLayNet:PubLayNet数据集上的MaskRCNN。 段落检测，表格检测，图形检测，..
04-23
PubLayNet PubLayNet是文档图像的大型数据集，其布局用边框和多边形分割标注。 有关更多信息，请参见 PMC4334925_00006.jpg PMC538274_00004.jpg 最近更新 15/Sept/2020年15/Sept/2020 -添加培训代码。 29/Feb/2020年29/Feb/2020 -为maskrcnn_resnet50_fpn添加基准测试。 22/Feb/2020年22/Feb/2020 -（Pytorch）中的预训练Mask-RCNN模型。 标杆管理 建筑学 Iter num（x16） 美联社 AP50 AP75 AP小 AP培养基 AP大 MD5SUM 196k 0.91 0.98 0.96 0.41 0.76 0.95 393e6700095a673065fcecf5e8f264f7 演示版 在上面的基准测试
PubTabNet——论文阅读笔记
Guo_Python的博客
12-05 3930
一. 前景介绍 论文：https://arxiv.org/pdf/1911.10683.pdf ((Image-based table recognition: data, model, and evaluation)) 代码：https://github.com/ibm-aur-nlp/PubTabNet (包含数据下载地址) 该论文是2020年IBM的表格识别论文，该论文对之后的表格识别工作有很大的影响。 二. 论文贡献 1. 开源数据集 开源了表格识别的数据集，50多万张表格和对应的标注信息， 数据
PubTables-1M：迈向从非结构化文档中全面抽取表格的信息提取方法
最新发布
04-25 889
近年来，在将机器学习应用于从非结构化文档中推断和抽取表格结构的问题上取得了显著进展。然而，最大的挑战之一仍然是在大规模数据上构建具有完整、明确的ground truth的数据集。为了解决这个问题，我们开发了一个新的、更为全面的用于表格抽取的数据集，称为PubTables-1M。PubTables-1M包含近一百万个来自科学文章的表格，支持多种输入模态，并包含表格结构的详细表头与位置信息，使其适用于多种建模方法。它还通过一种新颖的标准化过程解决了先前数据集中常见的ground truth不一致问题，即。
pubtabnet数据清洗
Guo_Python的博客
02-25 1087
一. 问题描述 puttabnet中数据不太干净，特别是坐标的标注，如下图： 二. 数据清洗 直接看代码 """ 把pubtabnet数据集中坐标标注错误的数据筛选除去 """ import jsonlines import os import cv2 def iou(bbox1, bbox2): """ Calculates the intersection-over-union of two bounding boxes. """ bbox1 = [float(x)
PubTabNet 开源项目使用教程
gitblog_00537的博客
10-11 330
PubTabNet 开源项目使用教程 PubTabNet 项目地址: https://gitcode.com/gh_mirrors/pu/PubTabNet 1. 项目的目...
pubtabnet如何使用
09-13
`PubTabNet`是一个用于表格数据处理的深度学习模型，主要用于公共表格理解任务，如表格问答、表格填充等。它通常应用于自然语言处理领域，结合文本描述和表格结构信息来生成预测或解答。 使用`PubTabNet`需要以下...
PPOCRLabel怎么标注pubtabnet数据集
05-23
如果要使用PPOCRLabel标注PubTabNet数据集，可以按照以下步骤进行操作： 1. 下载并解压PubTabNet数据集。 2. 安装PPOCRLabel工具，可以参考官方文档进行安装：...
下载 PubTabNet 数据集及其预处理工具
05-23
您可以从 PubTabNet 的官方 GitHub 页面上下载数据集和预处理工具。下面是下载步骤： 1. 访问 PubTabNet 的 GitHub 页面：https://github.com/ibm-aur-nlp/PubTabNet 2. 点击 "Code" 按钮，然后选择 "Download ZIP...
PPOCRLabel怎么将自己的数据集标注成pubtabnet数据集
05-23
2. 在PPOCRLabel中创建一个新的项目，设置好标注任务的类型和标签。 3. 将需要标注的图片导入到PPOCRLabel中，并进行标注。注意，需要按照pubtabnet的标注格式进行标注，包括表格框、单元格框、文字框、表头、表尾...
以下是针对CGI会议论文要求优化的创新点提炼框架，重点增强OCR模块的技术深度与应用价值，形成层次分明的创新链条： --- **Innovative Framework for Multilingual Table Structure Recognition with Enhanced OCR Fusion** ### **Core Innovation 1: Dynamic Gated Transformer for Cross-cell Position Detection** - **Technical Essence**:首创门控线性单元（GateGLU）与Transformer解码器的协同架构，通过双路径门控机制动态调节跨行/跨列单元格的空间权重。 - **Key Improvement**: 引入位置敏感的门控信号（如单元格中心偏移量），使模型在解码阶段自适应增强跨区域特征聚合，AP75提升至85.2%（较基线↑12.1%）。 - **Validation**: 在PubTabNet上实现跨行单元格检测召回率91.3%，误合并率降低37%。 ### **Core Innovation 2: Dual-stream HTML-Physical Structure Modeling** - **Architecture Breakthrough**: 提出物理-逻辑双流Transformer，通过共享编码层与独立解码路径分别解析表格的HTML语义结构（如`<td>`标签）及物理坐标（BBox），实现结构还原错误率下降21.6%。 - **Technical Value**: 首创基于注意力掩码的联合对齐损失（Alignment Loss），强制行列层级关系与像素级位置预测的一致性。 - **Performance**: 结构还原mAP达74.4%，较单流模型提升8.9%。 ### **Core Innovation 3: Context-aware Multilingual OCR with Feature Recalibration** - **System Innovation**: - **语言敏感重标定模块**: 设计轻量级语言分类器（Language-Sensitive Classifier, LSC），动态生成通道权重图，对中/英文字符特征进行差异化增强（如图1）。 - **多模态对齐策略**: 将OCR文本流与单元格位置热力图通过交叉注意力融合，解决中英文混排时的字符粘连问题（如"中文Text"场景）。 - **对抗性数据增强**: 生成中英文混合排版、字体扰动及复杂背景的合成数据，提升模型鲁棒性。 - **Industrial Impact**: - 在跨境财报场景中，中英混合识别准确率达92.4%（单语言模型↓15.7%）； - 支持14种亚洲语言扩展，医疗档案场景内容完整度98.7%； - 推理速度达28 FPS（RTX 3090），满足实时处理需求。 ![图1 语言敏感特征重标定模块架构](https://via.placeholder.com/600x200) *图1. 语言敏感特征重标定模块：通过轻量级LSC生成语言权重，动态调整CNN-Transformer混合特征* ### **Innovation Correlation Matrix** | 创新维度 | 核心技术组件 | 性能增益 | 工业场景验证 | |------------------|----------------------------|---------------|--------------------------| | 检测鲁棒性 | GateGLU动态门控 | AP75↑12.1% | 金融复杂报表 | | 结构还原精度 | 双流Transformer对齐损失 | mAP↑8.9% | 医疗表格结构化 | | 多语言兼容性 | 语言重标定+多模态融合 | 混合识别↑15.7% | 跨境多语种文档处理 | --- ### **实验对比强化建议** 1. **OCR模块独立评测**: 在ICDAR2017多语言场景（如中文[CTW](https://ctwdataset.github.io/) + 英文[IIIT-5K](https://cvit.iiit.ac.in/research/projects/cvit-projects/the-iiit-5k-word-dataset))中对比PaddleOCR原生模型与改进后的准确率差异； 2. **消融实验设计**: 分离评估语言重标定、多模态融合等子模块的贡献度； 3. **可视化案例**: 展示复杂排版（如中英嵌套表格、倾斜文本）的结构识别与OCR结果。 此框架突出技术深度与工业落地价值的结合，符合CGI会议对“算法创新-系统实现-应用验证”完整链条的评审偏好。
03-21
用户希望我介绍这个框架，重点增强OCR模块的技术深度与应用价值，并形成层次分明的创新链条。 首先，我需要明确用户的需求。他们可能正在准备一篇会议论文，需要将现有的研究成果进行优化，突出创新点，尤其是OCR...
Image-based table recognition: data, model, and evaluation（纯翻译版本-下一篇将总结概括该文章）
weixin_52012241的博客
12-16 1474
一、PubTabNet是IBM公司公布的基于图像的表格识别数据集。 其包含了568k+表格图片，其标注数据是HTML的表格结构，下载压缩包磁盘存储大小10G+。GitHub相关地址IBM的下载地址 相关论文：Image-based table recognition: data, model, and evaluation 摘要-文档中与特定主题相关的重要信息通常以表格形式组织，以帮助读者进行信息检索和比较，这可能很难用自然语言提供。然而，非结构化数字文档中的表格数据，例如。可移植文档格式(PDF)和图像
常用的表格检测识别方法——表格结构识别方法 (下）
INTSIG的博客
06-01 2324
论文提出了一种新的表格结构识别方法，它包含两个有效的组件：一个基于SepRETR的分割线预测分割模块和一个基于关系网络的用于跨行单元格恢复的单元格合并模块。与以往基于图像分割的分割线检测方法相比，基于SepRETR的分割线回归方法可以在不依赖启发式mask-to-line模块的情况下实现更高的TSR精度。实验结果表明，所提出的先验增强的二分匹配策略可以有效地提高两阶段DETR的收敛速度。因此，论文的方法在三个公共基准SciTSR、PubTabNet和WTW测试上取得了最先进的性能。在更具挑战性的真实内部数据
表格解析 概览
北落师门XY的博客
12-12 5951
表格解析发展至今，仍然是一项很年轻的研究领域，出现了大量解决方案，常用的技术包括：线检测、box检测、分割、多模态融合、GCN、img2seq。以下按我的理解梳理一下表格解析各个流派，从中了解这项任务背后所采用的技术。在实际生产中，往往需要根据场景定制化多个模型进行堆叠以达到预期效果。注意：以下的流派是按个人理解划分。
基于PP-OCR训练表格识别模型
Guo_Python的博客
12-05 4942
参考：百度官网 一. 配置PP-OCR环境 pp-ocr环境配置教程 二. 训练数据准备 数据下载地址 或者用命令下载数据 curl -o ./PubTabNet.tar.gz https://dax-cdn.cdn.appdomain.cloud/dax-pubtabnet/2.0.0/pubtabnet.tar.gz 下载数据后解压，并用代码将其划分为训练集和验证集，代码如下： import jsonlines """ 把PubTabNet_2.0.0.jsonl分成PubTabNet_2.0.0_t
PaddleOCR表格识别运行实例
weixin_45866058的博客
03-12 4961
（1）PubTabNet数据集（此次训练以 PubTabNet数据集为例）'filename': PMC5755158_010_01.png, # 图像名'split': ’train‘, # 图像属于训练集还是验证集'imgid': 0, # 图像的index'html': {'structure': {'tokens': ['', '', '', ...]}, # 表格的HTML字符串'cells': [
表格的结构识别综述
a645061612的博客
12-09 1593
目前正在作的内容，属于现状调研阶段。icdar 2021有这方面的比赛，贴几个论文： Table Structure Recognition using Top-Down.pdf Global Table Extractor (GTE)-号称打败下面.pdf Robust table recognition for printed document images.txt ReS2TIM Reconstruct Syntactic Structures from Table Images-19ICDA
PaddleOCR二次全流程——5.FAQ记录
啷个哩个啷
04-14 4770
选择在实际操作前先看一遍这个，是因为之前实验的时候有很多坑，提前看一遍预防一下，以便出了问题更好定位问题，不至于一模黑乱找。 建议还是去github上看，gitee上更新确实会慢一些，2021.4.8截的图，差了两次更新。（这个FAQ每周一更新一次，建议持续关注） 1. ????有价值的内容 因人而异，因项目而异。大家都在了解的基础上寻找对自己有用的即可 ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

蒋素萍Marilyn

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值