Synthetic Continued Pretraining 项目使用教程

Synthetic Continued Pretraining 项目使用教程

1. 项目目录结构及介绍

本项目包含了实现合成持续预训练（Synthetic Continued Pretraining）的完整代码。以下是项目的目录结构及其说明：

• data/: 存放数据相关的文件，包括原始数据集、合成数据集以及处理数据的脚本。
• evaluation.py: 评估持续预训练模型性能的脚本。
• interactive.py: 启动与模型交互的聊天机器人的脚本。
• LICENSE: 项目使用的Apache-2.0开源协议文件。
• README.md: 项目的说明文件。
• requirements.txt: 项目依赖的Python库列表。
• scripts/: 包含启动训练过程的脚本文件。
• train.py: 进行持续预训练的主脚本。
• utils/: 存放一些通用的工具函数。

2. 项目的启动文件介绍

项目的启动主要依赖于scripts/train.sh脚本，以下是该脚本的用途和参数介绍：

• train.sh: 该脚本用于启动持续预训练过程。以下是脚本的参数说明：
  • --lr: 设置峰值学习率。
  • --rr: 设置RedPajama重放率。
  • --epochs: 设置训练的总轮数。
  • --bs: 设置批量大小。
  • --wd: 设置权重衰减因子。
  • --warmup: 设置预热比例。
  • --task_name: 设置数据集选择（quality表示使用合成数据，instruct表示使用指令调整数据）。

运行脚本时需要使用chmod 777 scripts/train.sh来确保脚本具有执行权限。

3. 项目的配置文件介绍

项目中的配置文件主要用于设置API密钥和模型参数，以下是主要的配置文件介绍：

• data/dataset/openai.key: 设置OpenAI API密钥，用于生成合成数据和模型评估。
• data/dataset/cohere.key: 设置Cohere API密钥，用于检索增强生成（RAG）过程中的重排模型。
• requirements.txt: 列出了项目所依赖的Python库，需要在项目环境中安装。

在开始使用项目之前，需要确保这些配置文件中填写了正确的API密钥。此外，根据项目的需求，可能还需要对train.py和evaluation.py中的参数进行相应的配置调整。