TyDi QA 开源项目使用教程

TyDi QA 开源项目使用教程

tydiqa TyDi QA contains 200k human-annotated question-answer pairs in 11 Typologically Diverse languages, written without seeing the answer and without the use of translation, and is designed for the training and evaluation of automatic question answering systems. This repository provides evaluation code and a baseline system for the dataset. 项目地址: https://gitcode.com/gh_mirrors/ty/tydiqa

1. 项目目录结构及介绍

TyDi QA 项目的目录结构如下：

tydiqa/
├── baseline/
│   ├── README.md
│   ├── ...
├── gold_passage_baseline/
│   ├── README.md
│   ├── ...
├── eval_utils/
│   ├── eval_utils.py
│   ├── eval_utils_test.py
├── tydi_eval/
│   ├── tydi_eval.py
│   ├── tydi_eval_test.py
├── tiny_dev/
│   ├── tiny_dev.jsonl.gz
│   ├── tiny_dev_no_annotations.jsonl.gz
├── small_gold_annotation/
│   ├── small_gold_annotation.jsonl
│   ├── small_gold_annotation.jsonl.gz
├── sample_prediction/
│   ├── sample_prediction.jsonl
├── CHANGELOG.md
├── CONTRIBUTING.md
├── LICENSE
├── README.md
├── leaderboard.md

目录结构介绍

• baseline/: 包含基于多语言BERT的基线系统实现及相关文档。
• gold_passage_baseline/: 包含基于SQuAD 1.1格式的金段落任务的基线系统实现及相关文档。
• eval_utils/: 包含用于评估模型预测结果的工具代码。
• tydi_eval/: 包含用于评估TyDi QA任务的代码。
• tiny_dev/: 包含用于开发和测试的小规模数据集。
• small_gold_annotation/: 包含小规模的金标注数据集。
• sample_prediction/: 包含示例预测文件。
• CHANGELOG.md: 项目更新日志。
• CONTRIBUTING.md: 贡献指南。
• LICENSE: 项目许可证。
• README.md: 项目主文档。
• leaderboard.md: 项目排行榜文档。

2. 项目启动文件介绍

项目的启动文件主要集中在 baseline/ 和 gold_passage_baseline/ 目录中。以下是主要的启动文件：

• baseline/README.md: 该文件详细介绍了如何运行和修改基于多语言BERT的基线系统。
• gold_passage_baseline/README.md: 该文件详细介绍了如何运行和修改基于SQuAD 1.1格式的金段落任务的基线系统。

启动步骤

1. 安装依赖: 根据 README.md 文件中的说明，安装所需的Python依赖包。
2. 配置环境: 根据项目需求，配置Python环境变量和路径。
3. 运行基线系统: 按照 README.md 文件中的步骤，运行基线系统进行训练和评估。

3. 项目的配置文件介绍

项目的配置文件主要集中在 baseline/ 和 gold_passage_baseline/ 目录中。以下是主要的配置文件：

• baseline/config.json: 该文件包含了基线系统的配置参数，如模型路径、数据路径、训练参数等。
• gold_passage_baseline/config.json: 该文件包含了金段落任务的配置参数，如模型路径、数据路径、训练参数等。

配置文件示例

{
  "model_path": "path/to/model",
  "data_path": "path/to/data",
  "batch_size": 32,
  "learning_rate": 2e-5,
  "num_epochs": 3
}

配置步骤

1. 修改配置文件: 根据实际需求，修改 config.json 文件中的参数。
2. 加载配置: 在启动文件中，使用 json 模块加载配置文件，并根据配置参数进行系统初始化。

通过以上步骤，您可以顺利启动和配置 TyDi QA 项目，并根据需要进行训练和评估。

tydiqa TyDi QA contains 200k human-annotated question-answer pairs in 11 Typologically Diverse languages, written without seeing the answer and without the use of translation, and is designed for the training and evaluation of automatic question answering systems. This repository provides evaluation code and a baseline system for the dataset. 项目地址: https://gitcode.com/gh_mirrors/ty/tydiqa