ZeroEval 项目使用教程

ZeroEval 项目使用教程

ZeroEval A simple unified framework for evaluating LLMs 项目地址: https://gitcode.com/gh_mirrors/ze/ZeroEval

1. 项目目录结构及介绍

ZeroEval 项目的目录结构如下：

.
├── .github/
│   ├── workflows/
│   │   ├── data_prep.yml
│   │   └── ...
├── docs/
├── result_dirs/
│   └── ...
├── result_dirs_follow_up/
│   └── ...
├── scripts/
│   └── ...
├── src/
│   ├── evaluation/
│   │   ├── mcqa_eval.py
│   │   ├── math_eval.py
│   │   ├── zebra_grid_eval.py
│   │   └── ...
│   └── ...
├── .gitignore
├── CITATION.cff
├── LICENSE
├── README.md
├── requirements.txt
├── zero_eval_api.sh
└── zero_eval_local.sh

• .github/workflows/：存放 GitHub Actions 工作流文件，用于自动化处理如数据准备等任务。
• docs/：存放项目文档。
• result_dirs/ 和 result_dirs_follow_up/：用于存储评估结果的目录。
• scripts/：包含运行项目所需的各种脚本。
• src/：源代码目录，包含评估脚本和相关的模块。
• .gitignore：指定 Git 忽略的文件和目录。
• CITATION.cff：项目的引用文件。
• LICENSE：项目许可证文件。
• README.md：项目说明文件。
• requirements.txt：项目依赖的 Python 包列表。
• zero_eval_api.sh 和 zero_eval_local.sh：项目启动脚本。

2. 项目的启动文件介绍

项目提供了两个启动脚本：zero_eval_api.sh 和 zero_eval_local.sh。

• zero_eval_local.sh：用于本地环境的启动脚本，可以通过命令行参数指定数据集、模型名称、模型展示名称、分片数量、执行引擎、运行名称、温度、top_p、重复惩罚、批处理大小和最大长度等参数。
• zero_eval_api.sh：用于通过 API 方式启动项目，同样支持多种命令行参数。

3. 项目的配置文件介绍

项目的主要配置文件是 requirements.txt，其中列出了项目依赖的 Python 包。这些包可以通过以下命令安装：

pip install -r requirements.txt

此外，项目的配置可能涉及 src/task_configs.py 文件，该文件包含了不同任务配置的相关信息。根据项目需求，可能还需要对环境变量进行配置，例如设置 HF_HOME 环境变量来指定自定义的缓存目录：

export HF_HOME=/path/to/your/custom/cache_dir/

以上是 ZeroEval 项目的目录结构、启动文件和配置文件的简单介绍。使用前请确保已正确安装所有依赖，并根据需要修改相应的配置。

ZeroEval A simple unified framework for evaluating LLMs 项目地址: https://gitcode.com/gh_mirrors/ze/ZeroEval