使用TableGeneration生成表格数据集

Robust (Controlled) Table-to-Text Generation with Structure-Aware Equivariance Learning 表到文本生成旨在为表中的内容和相关结论生成自然语言描述。它不仅使无处不在的表格数据更容易被发现和访问,而且还支持表格语义检索、推理、事实检测、表辅助的问答等下游任务。虽然丰富多样的事实可以在表格中呈现,但受控的表到文本生成任务(为表格的突出显示子部分生成重点文本描述)最近引起了广泛关注。先前关于受控的表到文本生成研究通常采用序列到序列的生成方法,该方法仅将表捕获为线性结构。然而,表格布局虽然被先前的研究忽略了,但从两个角度来看,它是生成的关键。 阅读详情

1.TableGeneration介绍

TableGeneration是一个可以生成多种格式表格图片的工具,主要用于批量生成给AI训练的表格识别数据,比自己去一个一个截图来的方便。

本文记录的是在win10 64位环境使用TableGeneration的操作细节。

2.TableGeneration使用

2.1配置环境

首先,下载项目到本地,下载地址有两个:

国内镜像:https://gitcode.com/gh_mirrors/ta/TableGeneration/overview
github地址:https://github.com/WenmuZhou/TableGeneration

导入项目到pycharm,在控制台Terminal执行下面的命令:

pip3 install -r requirements.txt

如果有错误提示

Looking in indexes: http://mirrors.aliyun.com/pypi/simple/
WARNING: The repository located at mirrors.aliyun.com is not a trusted or secure host and is being ignored. If this repository is available via HTTPS we recommend you use HTTPS instead, otherwise you may silence this warning and allow
it anyway with '--trusted-host mirrors.aliyun.com'.
ERROR: Could not find a version that satisfies the requirement selenium==3.8.1
ERROR: No matching distribution found for selenium==3.8.1
WARNING: The repository located at mirrors.aliyun.com is not a trusted or secure host and is being ignored. If this repository is available via HTTPS we recommend you use HTTPS instead, otherwise you may silence this warning and allow
it anyway with '--trusted-host mirrors.aliyun.com'.

在上面的命令后面加上--trusted-host mirrors.aliyun.com即可,完整命令如下:

pip3 install -r requirements.txt --trusted-host mirrors.aliyun.com

2.2下载Chrome驱动

找到自己谷歌浏览器的版本,有两种办法:
一是在谷歌浏览器地址栏输入chrome://version/,128.0.6613.138这就是版本信息
谷歌浏览器版本
二是点谷歌浏览器右上角的三个竖点,在弹出的框里点击帮助,会出现另外一个小框,里面选择关于 Google Chrome,会切换到关于Chrome的界面,上面也有版本信息。

找到谷歌版本号后,需要下载对应版本的驱动文件,可以从下面的地址获取:

113及以上版本: https://registry.npmmirror.com/binary.html?path=chrome-for-testing/
113及以前的版本: https://registry.npmmirror.com/binary.html?path=chromedriver/
113及以前的版本地址2: https://chromedriver.storage.googleapis.com/index.html

选择最相近的一个版本
128.0.6613.是大版本号,后面的小版本号不是每一个都有,选择最相近的即可。

下载的文件解压后,里面有三个文件,只用看chromedriver.exe即可。
解压后文件

2.3将驱动放入指定目录

找到谷歌浏览器的安装目录,一是通过进程查找,点开谷歌浏览器进程,鼠标点击右键,弹框里选择属性,里面就有谷歌浏览器的位置信息,二是在桌面找到谷歌浏览器的图标,鼠标点击右键,弹框里选择属性,里面就有谷歌浏览器的位置信息。
放入谷歌浏览器驱动
找到你的python安装路径,找到Scripts文件夹,将驱动放入此文件夹内即可。
放入谷歌浏览器驱动

2.4 验证环境

打开pycharm,在控制台Terminal执行下面的命令:

python generate_data.py --output="output/simple_table" --num=1

控制台输出:

Namespace(brower='chrome', brower_height=2440, brower_width=1920, cell_box_type='cell', cell_max_height=0, cell_max_width=0, ch_dict_path='dict/ch_news.txt', color_prob=0, en_dict_path='dict/en_corpus.txt', max_col=10, max_row=15, max_
span_col_count=3, max_span_row_count=3, max_span_value=10, max_txt_len=10, min_col=3, min_row=3, min_txt_len=2, num=1, output='output/simple_table')

DevTools listening on ws://127.0.0.1:51177/devtools/browser/1f7248ab-4d61-4bf5-920d-eaa808323b91
100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:01<00:00,  1.40s/it]

生成的文件信息
生成的图片和html
图片

3参数说明

output:表格图片文件输出目录
num:生成表格图片的数量

# 简单表格
python generate_data.py --output="output/simple_table" --num=1
# 单元格坐标为单元格内文字坐标的表格
python generate_data.py --output="output/simple_table" --num=1 --cell_box_type='text'
# 彩色单元格表格
python generate_data.py --output="output/color_simple_table" --num=1 --color_prob=0.3
# 清单类表格
python generate_data.py --output="output/qd_table" --num=1 --min_row=10 --max_row=80 --min_col=4 --max_col=8 --min_txt_len=2 --max_txt_len=10 --max_span_row_count=3 --max_span_col_count=3 --max_span_value=20 --color_prob=0 --brower_width=1920 --brower_height=5000
# 大单元格表格
python generate_data.py --output="output/big_cell_table" --num=1 --min_row=6 --max_row=10 --min_col=4 --max_col=8 --min_txt_len=2 --max_txt_len=10 --max_span_row_count=3 --max_span_col_count=3 --max_span_value=10 --color_prob=0 --cell_max_width=100 --cell_max_height=100 --brower_width=1920 --brower_height=1920
2024表格数据深度学习模型综述 论文地址:https://arxiv.org/abs/2410.12034表格数据在医疗、金融和交通等行业广泛使用,由于其异质性和缺乏空间结构,给深度学习带来了独特的挑战。本调查回顾了针对表格数据的深度学习模型的发展,从早期的全连接网络(FCNs)到先进的架构如TabNet、SAINT、TabTranSELU和MambaNet。这些模型结合了注意力机制、特征嵌入和混合架构,以应对表格数据的复杂性。 阅读详情

相关推荐

Vaex——一个开源的DataFrame库,它可以对表格数据集进行可视化、探索、分析,甚至机器学习

**Vaex是一个开源的DataFrame库**,它可以对表格数据集进行**可视化、探索、分析,甚至机器学习**,这些数据集和你的硬盘驱动器一样大。**它可以在一个n维网格上每秒计算超过10亿(10^9)个对象的平均值、和、计数、标准差等统计信息**。可视化使用直方图、使用直方图、密度图和3D立体渲染进行可视化。为此,**Vaex采用了内存映射、高效的外核算法和延迟计算等概念来获得最佳性能(不浪费内存)**。 本文是上述介绍的.md笔记档,为一个刚好超出RAM范围(如50GB甚至500GB的数据集)的数据集做分析,又不能破费成本的设置一个集群, Vaex作为一个开源的DataFrame库,带来了解决方案!例子是使用纽约市出租车的数据集。

使用TableGeneration生成已标注的表格数据用于表格识别

TableGeneration 是一个基于 Python 开发的工具,它利用浏览器渲染技术生成表格图像。这个工具的特点在于其高度的可配置性,用户可以根据需求自定义表格的多种属性。生成的表格可以用于各种场景,如数据分析和机器学习中的数据集构建。GitHub 页面。

Silver__Wolf的博客 1707

Python-基于图像的表格检测识别数据集

基于图像的表格检测、识别数据集,建立在互联网上Word和Latex文档的新型弱监督基础上,包含417K高质量的标记表

【亲测免费】 探秘TableGeneration:智能表格生成器,让数据整理更高效

探秘TableGeneration:智能表格生成器,让数据整理更高效 在大数据时代,我们经常需要处理各种各样的表格数据,而手动整理这些数据既耗时又易出错。为此,我们向您推荐一个开源项目——,这是一个基于深度学习的智能表格生成工具,能够自动从非结构化文本中提取信息并生成清晰、规范的表格。 项目简介 TableGeneration由开发者Wenmu Zhou创建,其目标是帮助用户从大量文本中快速提取关...

gitblog_00052的博客 1167

STM32+EC800M-CN 4G模块数据透传踩坑实录:从AT指令调试到花生壳内网穿透

本文详细介绍了STM32与移远EC800M-CN 4G模块的数据透传实现过程,包括硬件连接、AT指令调试、TCP连接建立以及花生壳内网穿透配置。通过实战案例和代码示例,帮助开发者快速解决4G通信模块在物联网应用中的常见问题,提升数据传输稳定性。

weixin_42715608的博客 328

【Agora 本地录制最全总结- 基于Java SDK】

Agora 本地服务端录制

lizhengze1117的博客 1792

表生成器@ TableGenerator

 将当前主键的值单独保存到一个数据库的表中,主键的值每次都是从指定的表中查询来获得,这种生成主键的方式也是很常用的。这种方法生成主键的策略可以适用于任何的数据库,不必担心不同数据库不兼容造成的问题。使用以下SQL脚本创建一个表“tb_generator”,并插入两条数据,SQL脚本如下所示。CREATE TABLE  tb_generator (  id int(20) unsigne

孔子说 1887

基于MOS的防反接电路

防反接电路一般用于电源入口处,在电源反接时,保证电源入口之后的电路不会受到损害。一般在电源电流较小、对1V左右的压降不敏感时可以使用二极管进行防反接。防反接的形式有直接在正极串联二极管(如图1),或使用整流桥的方式(如图2),但这两种方式均存在:1、存在二极管的管压降;2、过大电流时,二极管消耗的功率大,发热严重。这两个问题。 图 1 二极管防反接电路 图 2 整流管防反接电路 1、基于NMO...

qq_42682826的博客 2万+

windows系统下安装Firefox的geockdriver驱动或使用TableGeneration会遇见的问题

解决报错:common.exceptions.SessionNotCreatedException: Message: Expected browser binary location, but unable to find binary in default location, no 'moz:firefoxOptions.binary' capability provided, and no binary flag set on the command line。下载完安装包中只有一个.exe文件。

qq_44497995的博客 791

基于QT的华为网络摄像头二次开发

第一次使用华为的网络摄像头并进行二次开发,网上关于QT对华为网络摄像头的二次开发的文章很少,基于项目的需求做了一些工作,特此记录。 目标: 1、实时预览 2、手动控制录制视频 3、监听告警型号 4、实时获取元数据中的划定区域内的人数 摄像头型号如下: 准备工作: 在购买摄像头后,应当在官网下载对应的开发资料,如果需要权限,则联系华为的技术支持人员。下载资料如下: SDC Development Kit Demo 8.0.T9 SDK DEMO下载地址:https://bbs.hua

xumingyifrend的博客 3170

图解凸函数与凹函数:别再被数学定义搞晕了!

本文通过图解和生活化类比,深入浅出地解释了凸函数与凹函数的数学定义及其与日常直觉的差异。文章详细介绍了凸函数的图像特征、数学定义(包括二阶导数判断)、在机器学习中的重要性,以及常见误区和实际应用中的判断技巧,帮助读者彻底理解这一关键数学概念。

weixin_29159441的博客 661

探索高效表格生成新境界 —— TableGeneration开源项目深度解析

探索高效表格生成新境界 —— TableGeneration开源项目深度解析 在这个信息爆炸的时代,高效的表格处理工具显得尤为重要。今天,我们带您深入了解一款基于浏览器渲染技术的开源项目——TableGeneration,它将学术研究的力量转化为实践中的便捷工具,帮助开发者和数据分析人员快速生成各式各样的表格图像,不仅提升了工作效率,还极大地扩展了创意空间。 项目介绍 TableGeneratio...

gitblog_00689的博客 650

ASM准入小助手卸载没有密码的方法:读取明文密码2024年7月有效

在一次工作过程中,电脑中意外的安装了一个ASM准入小助手软件,工作结束以后回来发现没有卸载,然后就决定把它卸载掉,但是居然给了我一个大大的提示框:由于联系不到当时给我安装的那个人了,所以一时陷入了焦灼的状态,因为我安装另一个终端准入,会直接提示冲突了。所以经过注册表(regedit)、任务管理器等各种折腾之后,最后都失败了,然后想起了多年前在吾爱论坛学到过的东西,最后意外的找到了密码,然后就完美成功卸载了。

布啦啦 7806

TableGeneration 开源项目教程

TableGeneration 开源项目教程 项目介绍 TableGeneration 是一个用于生成表格数据的开源项目,旨在帮助开发者快速创建和操作表格。该项目提供了丰富的API和工具,使得表格数据的生成、修改和展示变得更加简单和高效。 项目快速启动 安装 首先,克隆项目仓库到本地: git clone https://github.com/WenmuZhou/TableGeneration.g...

gitblog_00490的博客 479

4、机器人建模、规划与控制及运动学知识解析

本博客深入解析了机器人建模、规划与控制的核心内容,涵盖运动学与动力学的基本原理,并结合典型应用场景探讨了移动机器人与操作器的控制策略。同时,博客还介绍了机器人技术的发展趋势及其在工业和服务领域的广泛应用。

desk3的博客 125

LangChain .NET:C#开发者构建AI应用的RAG框架与实战指南

大语言模型(LLM)作为当前人工智能的核心技术,通过深度学习海量文本数据,掌握了强大的语言理解和生成能力。其原理基于Transformer架构,通过自注意力机制捕捉长距离依赖关系,从而实现对复杂语义的建模。这一技术价值在于能够将非结构化的自然语言转化为可计算、可推理的表示,为各类智能应用提供认知基础。在实际工程实践中,LLM常被应用于构建检索增强生成(RAG)系统和AI智能体(Agent)。RAG通过结合外部知识库检索与LLM生成,有效提升了问答的准确性和事实性,是构建企业知识库、智能客服等场景的关键技术。

weixin_42538175的博客 706

python生成带有表格的图片_python生成带有表格的图片实例

因为工作中需要,需要生成一个带表格的图片例如:直接在html中写一个table标签,然后单独把表格部分保存成图片或者是直接将excel中的内容保存成一个图片刚开始的思路,是直接生成一个带有table标签的html文件,然后将这个文件转成图片,经过查找资料发现需要安装webkit2png,而这个库又依赖其他的东西,遂放弃。当初的目标是直接生成一个图片,并且是只需要安装python...

weixin_42517607的博客 678

ssm框架搭建

这个是一个在idea上成功跑起来的ssm框架项目,保存在这里方便以后使用直接下载

TIES_DataGeneration 项目使用文档

TIES_DataGeneration 项目使用文档 1. 项目目录结构及介绍 TIES_DataGeneration/ ├── TFGeneration/ │ ├── ... (包含生成 tfrecord 文件的功能) ├── TableGeneration/ │ ├── ... (包含生成表格的功能) ├── LICENSE.md ├── README.md ├── generate_...

gitblog_00677的博客 662

文档:亲测可用解决vnc灰屏,黑屏,鼠标大黑叉情况

主要解决vnc-viewer灰屏,黑屏,鼠标大黑叉等现象,详细见文档。

efm32 入门.pdf

本PDF共计22页,介绍的是操作驱动API,下载与否自己斟酌。

html实现9*9乘法表

【代码】html实现9*9乘法表。

qq_41790844的博客 1682

OV9734 DATASHEET,完整规格书

OV9734完整规格书,包括电气参数,尺寸规格,寄存器配置表等

Table中合并单元格

           //----------------------横向合并3个td                              //-----------------------纵向合并两个td,本tr中有3个td,下面的tr中有两个td               &

love70song的专栏 569

表生成器(@TableGenerator)使用注意事项

用途:将当前主键的值单独保存到数据库的一张表里去,主键的值每次都是从该表中查询获得,适用于任何数据库,不必担心兼容问题。 常规配置,看下面例子: @Id @Column(name = "id") @TableGenerator(name = "hf_opert_id_gen", //此处的名字要和下面绿色标注的对应 table = "mcs_hibernate_seq", //主键保

sdaq23的博客 1万+

表格开源的数据集FUSD数据集、TableBank数据集、DocBank数据集

FUSD数据集FUSD数据集 TableBank数据集 TableBank数据集 DocBank数据集 DocBank数据集

weixin_42631192的博客 2543

表格生成latex程序工具-Tables Generator使用

1、打开在线工具网址:https://www.tablesgenerator.com/latex_tables 2、在Excel中设计出需要的表格,如果单元格中有公式,从MathType中复制后需要将“\[”-"\]"对修改为“$”-"$"对,否则转换为Latex程序会出错: 3、将Excel表格复制到在线工具的表格区,并根据需要设置表格边框: 4、调整表格样式(居中、缩放等)、设置表格标题和标签,点击在线工具的“Generate",生成Latex程序,复制到剪贴板: 5、将程序复制到.

stjuliet的博客 2万+

【3】深度学习之Pytorch——如何使用张量处理表格数据集(葡萄酒数据集)

举一个简单的例子,假设我们现在手里面有一份数据集是关于葡萄酒的数据。

迷茫与徘徊只会让你陷入绝境,欢迎私信博主,带你开始提升变现价值! 2274

机器学习数据集整理:图像、表格

如果你对这篇文章感兴趣,可以点击「【访客必读 - 指引页】一文囊括主页内所有高质量博客」,查看完整博客分类与对应链接。

lucius-liu.cn 1713

计算Excel表格类型的数据集的各种统计值

可以看到,该数据集有16个属性和一个标签,而标签总共有分为7种,分别为SEKER,BARBUNYA,我首先以drybean数据集作为本次的尝试Excel。看一下保存的dryBean的平均值.xlsx。平均值使用pandas自带计算平均值的函数。第一次使用的是lambda完成的。......

weixin_43788986的博客 1074
上一篇: 一次大数据量导出优化--借助xml导出xls、xlsx文件
下一篇: Ubuntu22.04安装paddle
程序员小川
博客等级 码龄10年 47粉丝 305原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值