LongRAG项目教程

LongRAG项目教程

LongRAG Official repo for "LongRAG: Enhancing Retrieval-Augmented Generation with Long-context LLMs". 项目地址: https://gitcode.com/gh_mirrors/lo/LongRAG

1. 项目目录结构及介绍

LongRAG项目的目录结构如下：

LongRAG/
├── exp/                # 存储实验结果和样例数据
├── scripts/            # 脚本文件，用于数据处理和模型训练等
├── utils/              # 实用工具模块，包括模型推理等
├── eval/               # 评估模块，用于模型性能评估
├── requirements.txt    # 项目依赖的Python包列表
├── README.md           # 项目说明文件
├── LICENSE             # 项目许可证文件

• exp/：该目录用于存放实验结果和样例数据。
• scripts/：包含各种脚本，用于数据预处理、模型训练等任务。
• utils/：包含一些实用工具模块，如模型推理等。
• eval/：评估模块，用于评估模型的性能。
• requirements.txt：列出项目所需的Python包。
• README.md：项目的说明文档，包含了项目的相关信息和使用说明。
• LICENSE：项目的许可证文件。

2. 项目的启动文件介绍

项目的启动主要是通过scripts/目录下的脚本进行的。以下是一些主要的启动脚本：

• extract_and_clean_wiki_dump.sh：用于从Wikipedia数据中提取和清洗数据。
• process_wiki_page.sh：用于处理清洗后的Wikipedia页面数据。
• group_documents.sh：用于将多个相关文档组合成超过4K token的长检索单元。
• run_retrieve_tevatron.sh：用于运行Tevatron检索工具进行检索。
• run_eval_qa.sh：用于运行评估脚本，对模型进行评估。

这些脚本通常需要在命令行环境中执行，并且可能需要根据实际情况调整参数。

3. 项目的配置文件介绍

项目的配置主要通过requirements.txt文件来进行。该文件列出了项目所需的Python包，如下所示：

transformers==4.10.2
torch==1.10.0+cu113
tqdm==4.62.3
datasets==1.8.0

在开始项目之前，需要使用以下命令安装这些依赖：

pip install -r requirements.txt

此外，项目中可能还会涉及一些其他配置文件，如模型配置文件和推理配置文件，这些文件通常位于scripts/或utils/目录下，用于调整模型参数和推理过程。具体配置内容需要根据实际情况和所选模型进行相应的修改。

LongRAG Official repo for "LongRAG: Enhancing Retrieval-Augmented Generation with Long-context LLMs". 项目地址: https://gitcode.com/gh_mirrors/lo/LongRAG