Table-Pretraining 项目使用教程

Table-Pretraining 项目使用教程

Table-Pretraining ICLR 2022 Paper, SOTA Table Pre-training Model, TAPEX: Table Pre-training via Learning a Neural SQL Executor 项目地址: https://gitcode.com/gh_mirrors/ta/Table-Pretraining

1. 项目的目录结构及介绍

Table-Pretraining/
├── common/
│   ├── dbengine.py
│   ├── download.py
│   └── ...
├── data_generator/
│   ├── ...
├── examples/
│   ├── ...
├── tapex/
│   ├── executor.py
│   ├── format_converter.py
│   ├── preprocess_binary.py
│   ├── preprocess_bpe.py
│   ├── table_linearize.py
│   ├── table_truncate.py
│   ├── table_processor.py
│   ├── model_eval.py
│   ├── model_interface.py
│   └── ...
├── .gitignore
├── CODE_OF_CONDUCT.md
├── LICENSE-Code
├── LICENSE-Data
├── README.md
├── SECURITY.md
├── SUPPORT.md
└── setup.py

目录结构介绍

• common/: 包含数据库引擎、下载助手等通用工具。

  • dbengine.py: 数据库引擎，用于返回SQL查询的答案。
  • download.py: 自动资源下载助手。

• data_generator/: 数据生成器代码，用于合成SQL执行数据。

• examples/: 包含使用TAPEX库的不同表格相关应用的示例代码。

• tapex/: TAPEX库的核心代码，包括SQL执行器、数据格式转换器、预处理脚本、表格线性化工具等。

  • executor.py: WikiSQL风格SQL执行器的重新实现，用于获取数据集中SQL查询的正确答案。
  • format_converter.py: 将数据集格式转换为HuggingFace风格的工具。
  • preprocess_binary.py: fairseq预处理脚本的封装。
  • preprocess_bpe.py: BPE预处理的封装。
  • table_linearize.py: 将表格扁平化为线性形式的类，确保在预训练、微调和评估过程中保持一致。
  • table_truncate.py: 将长表格截断为较短版本的类，以满足模型输入长度限制（例如BART最多接受1024个token）。
  • table_processor.py: 上述两个表格工具类的封装。
  • model_eval.py: 评估模型指称准确性的脚本。
  • model_interface.py: 基于HubInterface的模型交互接口封装。

• .gitignore: Git忽略文件配置。

• CODE_OF_CONDUCT.md: 行为准则。

• LICENSE-Code: 代码许可证。

• LICENSE-Data: 数据许可证。

• README.md: 项目介绍和使用说明。

• SECURITY.md: 安全相关说明。

• SUPPORT.md: 支持相关说明。

• setup.py: 项目安装脚本。

2. 项目的启动文件介绍

项目的启动文件主要是setup.py，它负责安装项目的依赖和TAPEX库。

setup.py 介绍

setup.py 是一个Python脚本，用于配置和安装Python包。通过运行以下命令，可以安装TAPEX库及其依赖：

pip install --editable .

--editable 参数允许你在本地修改TAPEX库的代码，而无需重新安装。

3. 项目的配置文件介绍

项目中没有明确的配置文件，但可以通过修改setup.py中的配置来定制安装过程。此外，examples/目录下的示例代码中可能包含一些配置文件或参数设置，具体取决于你使用的示例。

示例配置

在examples/目录下，每个示例可能会有自己的配置文件或参数设置。例如，某个示例可能包含一个config.json文件，用于指定模型路径、数据路径等参数。

{
  "model_path": "path/to/model",
  "data_path": "path/to/data",
  "batch_size": 32,
  "max_length": 1024
}

通过修改这些配置文件，你可以自定义TAPEX库的行为。

---

以上是Table-Pretraining项目的使用教程，涵盖了项目的目录结构、启动文件和配置文件的介绍。希望这些信息能帮助你更好地理解和使用该项目。

Table-Pretraining ICLR 2022 Paper, SOTA Table Pre-training Model, TAPEX: Table Pre-training via Learning a Neural SQL Executor 项目地址: https://gitcode.com/gh_mirrors/ta/Table-Pretraining