《AgentBench 安装与配置指南》

《AgentBench 安装与配置指南》

AgentBench A Comprehensive Benchmark to Evaluate LLMs as Agents (ICLR'24) 项目地址: https://gitcode.com/gh_mirrors/ag/AgentBench

1. 项目基础介绍

AgentBench 是一个开源项目，旨在为评估大型语言模型（LLM）作为智能体（Agent）的能力提供一个全面的基准。该基准包含多个不同的环境，用以测试 LLM 在各种场景下作为自主智能体的表现。项目主要使用的编程语言是 Python。

2. 项目使用的关键技术和框架

• 大型语言模型（LLM）: AgentBench 使用大型语言模型来模拟智能体，这些模型能够理解和生成自然语言，以完成各种任务。
• Docker: 为了隔离环境和方便部署，项目使用 Docker 容器来运行任务。
• RESTful API: 项目中的各个模块通过 RESTful API 进行通信。
• Python 框架: 项目使用了多种 Python 框架，如 Flask 用于创建 web 服务，以及各种库来处理数据、配置等。

3. 项目安装和配置的准备工作与详细步骤

准备工作

在开始安装之前，请确保你的系统中已经安装了以下软件：

• Python 3.9
• Docker
• git

安装步骤

步骤 1: 克隆项目

首先，你需要从 GitHub 上克隆 AgentBench 项目：

git clone https://github.com/THUDM/AgentBench.git
cd AgentBench

步骤 2: 创建和激活虚拟环境

为了避免与系统中的其他 Python 项目冲突，建议创建一个虚拟环境：

conda create -n agent-bench python=3.9
conda activate agent-bench

步骤 3: 安装依赖

接下来，安装项目所需的 Python 依赖：

pip install -r requirements.txt

步骤 4: 准备 Docker 镜像

AgentBench 使用 Docker 来运行任务，因此需要拉取相关的 Docker 镜像：

docker pull mysql
docker pull ubuntu

# 构建操作系统交互任务所需的 Docker 镜像
docker build -f data/os_interaction/res/dockerfiles/default data/os_interaction/res/dockerfiles --tag local-os/default
docker build -f data/os_interaction/res/dockerfiles/packages data/os_interaction/res/dockerfiles --tag local-os/packages
docker build -f data/os_interaction/res/dockerfiles/ubuntu data/os_interaction/res/dockerfiles --tag local-os/ubuntu

步骤 5: 配置智能体

在 configs/agents/openai-chat.yaml 文件中，填写你的 OpenAI API Key（如果使用的是 OpenAI 的模型）。如果使用其他模型，相应地修改配置文件。

步骤 6: 启动任务服务器

运行以下命令来启动任务服务器：

python -m src.start_task -a

等待大约 1 分钟，确保所有任务工作器（task workers）都已成功启动。

步骤 7: 启动任务分配器

最后，启动任务分配器来开始任务：

python -m src.assigner

按照以上步骤操作，你就可以成功安装和配置 AgentBench 项目了。如果遇到任何问题，请查看项目文档或向项目维护者寻求帮助。

AgentBench A Comprehensive Benchmark to Evaluate LLMs as Agents (ICLR'24) 项目地址: https://gitcode.com/gh_mirrors/ag/AgentBench