VisRAG项目使用教程

VisRAG项目使用教程

VisRAG Parsing-free RAG supported by VLMs 项目地址: https://gitcode.com/gh_mirrors/vis/VisRAG

1. 项目的目录结构及介绍

VisRAG项目目录结构如下：

VisRAG/
├── assets/              # 存储项目相关资源
├── config/              # 配置文件目录
├── examples/            # 示例数据和脚本
│   └── training_data/   # 训练数据
├── scripts/             # 脚本目录，包括训练、评估和生成脚本
│   ├── train_retriever/
│   ├── eval_retriever/
│   └── generate/
├── src/                 # 源代码目录
│   ├── openmatch/       # OpenMatch库的修改版本
│   └── timm_modified/   # Timm库的修改版本，支持梯度检查点
├── .gitignore           # Git忽略文件
├── LICENSE              # 项目许可证文件
├── README.md            # 项目说明文件
├── requirements.txt     # 项目依赖文件
└── setup.py             # 项目设置文件

• assets/: 存储项目所需的各种资源文件。
• config/: 包含项目的配置文件，如训练和评估的参数配置。
• examples/: 包含示例数据和用于演示项目功能的脚本。
• scripts/: 包含用于训练模型、评估模型和生成文本的各种脚本。
• src/: 源代码目录，包括项目的主要实现代码。
• .gitignore: 指定Git应该忽略的文件和目录。
• LICENSE: Apache-2.0 许可证文件。
• README.md: 项目说明文件，包含项目的基本信息和如何使用。
• requirements.txt: 包含项目运行所需的Python依赖库。
• setup.py: 项目设置文件，用于配置项目的基本信息。

2. 项目的启动文件介绍

项目的启动主要是通过scripts/目录下的脚本进行，以下是一些主要的启动文件：

• train_retriever/train.sh: 训练检索器的脚本文件，包含了训练所需的参数和命令。
• eval_retriever/eval.sh: 评估检索器的脚本文件，用于评估模型在测试数据集上的表现。
• generate/generate.py: 生成文本的Python脚本，用于根据检索到的文档生成相应的文本。

3. 项目的配置文件介绍

项目的配置文件位于config/目录中，以下是一些主要的配置文件：

• deepspeed.json: 使用DeepSpeed进行模型训练的配置文件，包含训练相关的参数设置。
• 其他配置文件：根据不同的脚本和功能，可能存在其他配置文件，用于指定脚本运行时的参数和设置。

这些配置文件包含了模型训练和评估过程中所需的各种参数，如学习率、批大小、优化器设置等。用户可以根据自己的需要修改这些配置文件以适应不同的训练场景和需求。

VisRAG Parsing-free RAG supported by VLMs 项目地址: https://gitcode.com/gh_mirrors/vis/VisRAG