LongBench项目安装与配置指南

LongBench项目安装与配置指南

LongBench LongBench v2 and LongBench (ACL 2024) 项目地址: https://gitcode.com/gh_mirrors/lo/LongBench

1. 项目基础介绍

LongBench是一个旨在评估大型语言模型（LLM）处理长上下文问题的能力的数据集和基准测试。它包含了从8000字到200万字的上下文长度，涵盖了多种真实世界场景的多任务问题。这些问题设计得足够困难，以至于即使是使用文档内搜索工具的人类专家，也无法在短时间内准确回答。LongBench的数据格式为多个选择题，以确保评估的可靠性。

主要编程语言：Python

2. 项目使用的关键技术和框架

• 数据集加载：使用Hugging Face的datasets库来加载和操作数据集。
• 模型部署：使用vLLM工具来部署模型，支持大模型的高效推理。
• 模型推理：通过API调用进行模型的推理，支持Chain-of-Thought (CoT)等高级推理模式。

3. 项目安装和配置的准备工作

在开始安装之前，请确保您的系统中已安装以下依赖：

• Python 3.x
• pip（Python的包管理工具）
• GPU（推荐，用于加速模型推理）

详细安装步骤

步骤1：安装依赖

首先，需要安装项目所需的Python库。在终端中执行以下命令：

pip install -r requirements.txt

步骤2：下载和加载数据集

你可以通过Hugging Face datasets库加载LongBench数据集，或者从提供的链接下载。以下是使用datasets库加载的示例代码：

from datasets import load_dataset
dataset = load_dataset('THUDM/LongBench-v2', split='train')

步骤3：配置模型

在config/目录下，添加你的模型路径和上下文窗口长度。例如，如果你使用的是GLM-4-9B-Chat模型，你需要创建或更新一个配置文件来包含以下信息：

model_path: /path/to/your/model
context_window_length: 131072

步骤4：部署模型

使用vLLM工具部署模型。运行以下命令来启动模型服务：

vllm serve THUDM/glm-4-9b-chat --api-key token-abc123 --tensor-parallel-size 4 --gpu-memory-utilization 0.95 --max_model_len 131072 --trust-remote-code

根据你的模型大小，你可能需要调整--tensor-parallel-size和--gpu-memory-utilization参数。

步骤5：运行模型推理

一旦模型部署成功，修改pred.py中的URL和API_KEY以匹配你的服务实例。然后运行以下命令来进行模型推理：

python pred.py --model GLM-4-9B-Chat

你可以根据需要添加额外的参数，例如--cot来启用Chain-of-Thought推理。

步骤6：导出结果

最后，运行以下命令来导出模型推理的结果：

python result.py

以上步骤将帮助你成功安装和配置LongBench项目，并开始使用它进行长上下文任务的评估。

LongBench LongBench v2 and LongBench (ACL 2024) 项目地址: https://gitcode.com/gh_mirrors/lo/LongBench